Эксперимент по решению задач из бенчмарка SWE-bench-Live показал значительный разрыв в эффективности современных языковых моделей. Использование дорогостоящих решений, таких как Claude 3 Opus, не гарантирует успеха в сложных инженерных задачах, в то время как более экономичные модели демонстрируют высокую точность при кратно меньших затратах на инференс, меняя представление о целесообразности выбора моделей для автоматизации разработки.
В ходе тестирования модель Claude 3 Opus, стоимость запроса к которой составила 47 долларов, не смогла успешно справиться с поставленной задачей. В противовес этому, модель, обозначенная как GPT-5.6, выполнила аналогичное задание с высокой точностью, затратив на это всего 1,46 доллара. Этот кейс подчеркивает, что рост вычислительных затрат и использование топовых моделей не всегда коррелируют с качеством решения специфических задач по написанию и отладке кода.
Результаты эксперимента ставят под сомнение текущие стратегии выбора LLM для агентных систем, ориентированных на разработку ПО. Оптимизация затрат при сохранении или повышении качества выполнения задач становится ключевым фактором для внедрения ИИ-агентов в реальные рабочие процессы. Разрыв в 32 раза по стоимости при превосходстве более дешевой модели указывает на необходимость более тщательного тестирования моделей на конкретных инженерных кейсах перед их интеграцией в продакшн.
Ключевые факты
- Стоимость попытки решения задачи с помощью Claude 3 Opus составила 47 долларов.
- Модель GPT-5.6 успешно справилась с задачей при затратах в 1,46 доллара.
- Тестирование проводилось в рамках актуального бенчмарка SWE-bench-Live.
- Разница в стоимости выполнения одной и той же задачи между моделями превысила 32 раза.