Исследователи протестировали 19 популярных языковых моделей на способность писать рабочий код для фреймворка Flutter. Оценка проводилась по двум ключевым метрикам: успешности компиляции и прохождению скрытых функциональных тестов. Результаты показывают значительный разрыв в качестве генерации кода между передовыми проприетарными моделями и открытыми решениями в специфических задачах мобильной разработки.
Методология исследования сфокусирована на реальных сценариях разработки, где недостаточно просто сгенерировать синтаксически верный код. Авторы использовали набор скрытых тестов, чтобы проверить, соответствует ли результат бизнес-логике и требованиям Flutter-проектов. Это позволяет оценить пригодность моделей для автоматизации написания UI-компонентов и интеграции с API, что критично для разработчиков мобильных приложений.
Данный бенчмарк заполняет пробел в оценке специализированных навыков LLM, так как большинство стандартных тестов ориентированы на общие задачи программирования на Python или C++. Анализ показывает, какие модели лучше справляются с Dart и особенностями архитектуры Flutter, помогая командам выбирать инструменты для AI-ассистентов в мобильной разработке.
Ключевые факты
- В тестировании приняли участие 19 различных LLM, включая как закрытые API, так и открытые веса.
- Основными метриками стали процент успешной компиляции (compile pass) и прохождение скрытых тестов (hidden-test pass).
- Исследование сфокусировано исключительно на специфике Flutter и языка Dart, что отличает его от общих бенчмарков вроде HumanEval.
- Результаты доступны в виде публичного рейтинга, позволяющего сравнить эффективность моделей при решении задач мобильной разработки.