Исследователи представили OmegaUse-OfficeVal — специализированный бенчмарк для оценки ИИ-агентов, выполняющих сложные многошаговые офисные процессы. В отличие от существующих тестов, система делает акцент на экономической целесообразности, анализируя не только точность выполнения задач в приложениях, но и финансовые затраты на использование API моделей при реализации длинных цепочек действий в корпоративной среде.
Современные ИИ-агенты часто демонстрируют высокую точность в изолированных задачах, однако их применение в реальных офисных сценариях ограничено отсутствием метрик эффективности. Новый бенчмарк позволяет измерить, насколько рационально модель расходует токены и время при работе с офисными пакетами, что критически важно для внедрения автоматизации в бизнес-процессы. Исследование подчеркивает разрыв между способностью модели решить задачу и её стоимостью для компании.
Инструментарий охватывает широкий спектр офисных операций, требующих долгосрочного планирования и взаимодействия с различными интерфейсами. Разработчики бенчмарка стремятся стандартизировать подход к оценке «агентного ROI», помогая компаниям выбирать модели, которые не только справляются с поставленными целями, но и обеспечивают приемлемый уровень операционных расходов при масштабировании автоматизации.
Ключевые факты
- OmegaUse-OfficeVal фокусируется на долгосрочных офисных рабочих процессах, требующих последовательного выполнения множества этапов.
- Ключевой метрикой бенчмарка является экономическое обоснование (economic grounding), связывающее результат работы модели с затратами на инференс.
- Тест позволяет выявить модели, склонные к избыточному потреблению ресурсов при решении простых офисных задач.
- Бенчмарк направлен на закрытие пробела в оценке реальной применимости агентов в корпоративной среде, где важна оптимизация затрат.