OpenAI провела аудит популярного теста SWE-Bench Pro, предназначенного для оценки навыков написания кода у ИИ-моделей, и обнаружила, что около 30% задач в нем содержат ошибки. В связи с этим компания официально отозвала свое признание данного бенчмарка как надежного инструмента для измерения прогресса в области разработки программного обеспечения с помощью нейросетей.
Анализ показал, что значительная часть проблем в SWE-Bench Pro связана с некорректной настройкой среды выполнения, неработающими тестами или невыполнимыми условиями задач. Это ставит под сомнение точность результатов, полученных многими моделями в последние месяцы, так как «успешное» прохождение теста могло быть обусловлено не качеством кода ИИ, а техническими изъянами самого испытания.
Данная ситуация подчеркивает проблему «загрязнения» метрик в индустрии ИИ. Поскольку разработчики моделей стремятся оптимизировать свои системы под конкретные бенчмарки, наличие ошибок в них искажает реальную картину возможностей моделей. OpenAI призывает сообщество к пересмотру подходов к тестированию и созданию более прозрачных и верифицируемых стандартов оценки.
Ключевые факты
- Около 30% задач в бенчмарке SWE-Bench Pro признаны неисправными или некорректными.
- OpenAI официально отозвала свою поддержку и рекомендации по использованию этого теста для оценки ИИ-моделей.
- Ошибки включают проблемы с окружением, нерабочие тесты и логические несоответствия в заданиях.
- Выявленные недостатки ставят под вопрос объективность текущих рейтингов способностей ИИ в программировании.