OpenAI опубликовала анализ, в котором поставила под сомнение эффективность популярного бенчмарка SWE-bench Pro для оценки способностей ИИ-моделей в написании кода. Компания утверждает, что текущие методы тестирования перестали отражать реальную производительность моделей в сложных задачах разработки, и призывает индустрию сфокусироваться на более комплексных метриках, которые лучше коррелируют с практической пользой для инженеров.
В своем отчете разработчики указывают на проблему «загрязнения» данных, когда модели обучаются на задачах, входящих в состав бенчмарков, что приводит к завышенным результатам. Кроме того, многие тесты не учитывают контекст реальных рабочих сред, где программисту необходимо не просто исправить баг, но и поддерживать целостность архитектуры проекта, взаимодействовать с документацией и учитывать специфические зависимости.
Вместо использования стандартных наборов задач, OpenAI предлагает внедрять системы оценки, основанные на выполнении реальных рабочих процессов. Это включает в себя проверку способности модели работать с многофайловыми репозиториями, проводить рефакторинг и эффективно использовать инструменты отладки. Такой подход должен помочь разработчикам ИИ-систем лучше понимать, как именно модели справляются с задачами, требующими глубокого понимания кодовой базы.
Ключевые факты
- OpenAI официально исключила SWE-bench Pro из списка рекомендованных инструментов для оценки кодинг-способностей моделей.
- Основная претензия к бенчмарку заключается в его неспособности отличить реальный навык решения задач от заучивания ответов из обучающей выборки.
- Компания настаивает на переходе к оценкам, которые имитируют полноценный рабочий цикл инженера, а не ограничиваются решением изолированных задач.
- Новая методология оценки делает акцент на способности модели ориентироваться в сложных проектах с множеством зависимостей и файлов.