Artificial Analysis совместно с Zapier запустили AutomationBench-AA — новый бенчмарк для оценки способности LLM выполнять многошаговые задачи в реальных бизнес-процессах. В отличие от статических тестов, этот инструмент проверяет, насколько эффективно модели справляются с реальными API-интеграциями, обработкой ошибок и логическими цепочками, необходимыми для автоматизации повседневных рабочих задач.
Бенчмарк основан на анализе миллионов реальных сценариев автоматизации, обработанных платформой Zapier. Исследователи сфокусировались на том, как модели взаимодействуют с внешними инструментами, учитывая не только точность генерации кода или текста, но и способность системы восстанавливаться после неудачных вызовов API. Это позволяет оценить реальную пригодность моделей для создания автономных рабочих процессов.
Результаты тестирования показывают значительный разрыв между ведущими проприетарными моделями и открытыми решениями в контексте агентных задач. AutomationBench-AA предоставляет разработчикам метрики, которые лучше коррелируют с практической полезностью ИИ в корпоративной среде, чем стандартные академические тесты на логику или программирование.
Ключевые факты
- AutomationBench-AA оценивает производительность моделей на основе реальных данных Zapier, охватывающих тысячи различных сценариев автоматизации.
- Тест фокусируется на многошаговых процессах, требующих корректного использования API и обработки промежуточных состояний системы.
- Бенчмарк измеряет «успешность выполнения» (success rate) в условиях, максимально приближенных к реальной эксплуатации ИИ-агентов.
- Инструмент призван заполнить пробел в оценке агентных способностей, так как традиционные бенчмарки часто переоценивают возможности моделей в задачах, требующих взаимодействия с внешними сервисами.