Исследователи протестировали 12 актуальных языковых моделей, включая GPT-4o, Claude 3.5 Sonnet и Grok, предложив им создать четыре идентичных программных приложения с нуля. Эксперимент показал существенные различия в способности моделей справляться с комплексными задачами кодинга, управлением состоянием и исправлением ошибок, что позволяет оценить реальную эффективность современных ИИ-агентов в задачах разработки ПО.
В ходе тестирования модели оценивались по качеству архитектурных решений, чистоте кода и способности доводить проект до рабочего состояния без участия человека. Результаты подчеркивают, что даже при схожих параметрах архитектуры, модели демонстрируют разный уровень «агентности» — способности самостоятельно планировать этапы разработки и корректировать логику при возникновении конфликтов в коде.
Данный бенчмарк отходит от классических тестов на знание синтаксиса, фокусируясь на прикладном программировании. Это дает более точное представление о том, какие инструменты лучше подходят для автоматизации написания полноценных сервисов, а где все еще требуется глубокое вмешательство разработчика для отладки и интеграции компонентов.
Ключевые факты
- В тестировании приняли участие 12 моделей, включая актуальные версии от OpenAI, Anthropic и xAI.
- Задание включало создание четырех функциональных приложений, требующих работы с фронтендом и бэкендом.
- Оценка проводилась по метрикам успешности сборки, количеству критических багов и необходимости правок после генерации.
- Исследование выявило значительный разрыв в производительности между лидерами рынка и моделями среднего эшелона при выполнении многоэтапных задач.