Исследователи протестировали возможности современных языковых моделей GPT-4.5, Fable 5 и Grok 3 в задаче воссоздания функционала Basecamp с нуля по единой спецификации. Эксперимент показал, как разные архитектуры справляются с написанием чистого кода, соблюдением архитектурных паттернов и логической связностью при создании полноценного веб-приложения, выявив сильные и слабые стороны каждой модели в контексте реальной разработки.
В ходе тестирования модели оценивались не только по качеству генерации отдельных функций, но и по способности поддерживать целостность проекта на протяжении всего цикла разработки. Использование единой спецификации позволило минимизировать субъективность оценки и сфокусироваться на том, насколько эффективно ИИ может заменить или дополнить работу фронтенд- и бэкенд-разработчиков при реализации сложных бизнес-систем.
Результаты подчеркивают текущий уровень «агентности» моделей: способность не просто писать фрагменты кода, а проектировать структуру приложения, учитывая зависимости и требования к пользовательскому интерфейсу. Этот подход дает более точное представление о применимости LLM в промышленной разработке, чем стандартные академические бенчмарки, ориентированные на решение изолированных задач.
Ключевые факты
- В тестировании участвовали актуальные версии моделей: GPT-4.5, Fable 5 и Grok 3.
- Задачей было воссоздание функционала платформы Basecamp на основе идентичного технического задания.
- Оценка проводилась по критериям чистоты кода, соблюдения архитектуры и работоспособности итогового приложения.
- Эксперимент демонстрирует разницу в подходах моделей к управлению контекстом при работе над комплексными программными проектами.