OpenAI опубликовала исследование, указывающее на низкую надежность популярного бенчмарка SWE-Bench Pro для оценки навыков программирования у ИИ-моделей. Анализ показал, что текущие методы тестирования подвержены шуму и не всегда корректно отражают реальную способность агентов решать сложные инженерные задачи, что ставит под сомнение точность существующих рейтингов производительности моделей в задачах разработки ПО.
Основная проблема заключается в нестабильности среды выполнения и сложности воспроизведения результатов. Исследователи обнаружили, что значительная часть успеха модели в бенчмарке может зависеть от случайных факторов, а не от качества кода или архитектурных решений. Это создает «ложные сигналы», когда модели показывают высокие баллы, не демонстрируя при этом глубокого понимания контекста репозитория или способности к исправлению реальных багов.
Для повышения достоверности оценок предлагается внедрить более строгие протоколы верификации и фильтрации задач. Текущие метрики, основанные на прохождении тестов, требуют пересмотра, так как они не учитывают специфику взаимодействия агента с кодовой базой. Использование более чистых данных и стандартизированных условий запуска поможет разработчикам лучше понимать реальный прогресс в области автоматизации программирования.
Ключевые факты
- SWE-Bench Pro признан одним из основных стандартов для оценки ИИ в задачах разработки, но его результаты оказались подвержены высокому уровню шума.
- Исследование выявило, что вариативность в результатах тестирования затрудняет объективное сравнение между различными поколениями LLM.
- OpenAI призывает к переходу на более надежные методы оценки, которые исключают влияние случайных факторов на финальный скор модели.
- Предложенные изменения направлены на создание более прозрачной и воспроизводимой среды для тестирования агентных систем в программировании.