Исследователи представили UI2App — специализированный бенчмарк для оценки способности LLM преобразовывать визуальные макеты интерфейсов в исполняемый код веб-приложений. В отличие от текстовых промптов, этот подход использует скриншоты как основной источник данных, что позволяет точнее передавать структуру страницы и обеспечивать визуальную согласованность между различными экранами, имитируя реальные процессы фронтенд-разработки.
Современные модели часто сталкиваются с трудностями при интерпретации сложных визуальных иерархий и логических связей в интерфейсах. Текстовые описания требуют от пользователя избыточных усилий и часто упускают детали верстки. Переход к визуально-ориентированным парадигмам позволяет моделям лучше понимать контекст дизайна, однако требует новых методов оценки качества генерации кода, учитывающих не только синтаксическую корректность, но и функциональную идентичность полученного приложения исходному макету.
Бенчмарк UI2App фокусируется на задачах визуального вывода, проверяя, насколько точно модель может воссоздать интерактивные элементы и логику навигации. Это критически важный шаг для автоматизации создания пользовательских интерфейсов, так как он переводит взаимодействие с ИИ-агентами из плоскости написания длинных спецификаций в плоскость визуального проектирования, где результат работы модели можно сразу оценить по конечному виду приложения.
Ключевые факты
- UI2App оценивает способность моделей генерировать исполняемый код на основе входных скриншотов интерфейса.
- Основная проблема существующих методов — низкая выразительность текстовых промптов при описании сложных макетов.
- Бенчмарк фокусируется на визуальной согласованности между страницами и корректности реализации интерактивных элементов.
- Исследование подчеркивает переход от текстового описания к визуально-ориентированным парадигмам в разработке ПО с помощью ИИ.