OpenAI отзывает SWE-Bench Pro: много задач оказались нерабочими
Компания OpenAI опубликовала результаты аудита своего бенчмарка SWE-Bench Pro, который предназначен для оценки кодинговых способностей искусственного интеллекта. Выяснилось, что около 30% задач оказались сломанными. Это стало неожиданностью, так как сам бенчмарк был рекомендован OpenAI как улучшенная версия ее предшественника, SWE-bench…
