Google представила обновленную версию Android Bench — специализированного бенчмарка для оценки производительности больших языковых моделей и агентных систем в мобильной среде. В текущую итерацию добавлены новые модели, включая Fable 5, однако результаты Gemini показывают отставание от лидеров индустрии в ряде ключевых сценариев взаимодействия с интерфейсом и автоматизации задач внутри ОС.
Обновление направлено на создание более реалистичных условий тестирования, имитирующих повседневное использование смартфона. Бенчмарк фокусируется на способности моделей корректно интерпретировать действия пользователя, управлять элементами интерфейса и выполнять многошаговые цепочки команд. Разработчики получили возможность участвовать в доработке методологии, что должно повысить прозрачность оценки агентных возможностей в мобильных экосистемах.
Несмотря на расширение набора инструментов, текущие показатели Gemini подчеркивают сложность оптимизации моделей для работы в условиях ограниченных ресурсов и специфических мобильных API. Тестирование охватывает не только скорость генерации ответов, но и точность выполнения агентных функций, что становится критически важным для развития ИИ-ассистентов нового поколения.
Ключевые факты
- В состав Android Bench включена модель Fable 5, показавшая высокую эффективность в агентных задачах.
- Обновленный бенчмарк ориентирован на оценку автономности ИИ при управлении мобильными приложениями.
- Gemini демонстрирует отставание от конкурентов в тестах на выполнение сложных последовательных действий в Android.
- Google открыла доступ к методологии бенчмарка для внешних разработчиков с целью улучшения стандартов тестирования ИИ-агентов.