arXiv · 22.06.2026 ·Оценка и бенчмарки

EnterpriseClawBench: новый стандарт оценки корпоративных ИИ-агентов

Исследователи представили EnterpriseClawBench — специализированный бенчмарк для оценки эффективности ИИ-агентов в реальных рабочих условиях. В отличие от синтетических тестов, этот набор данных сформирован на основе анализа реальных сессий взаимодействия сотрудников с корпоративными системами. В базу вошли 852 воспроизводимые задачи, которые охватывают типичные офисные сценарии: работу с разнородными файлами, вызов внешних инструментов и создание бизнес-артефактов.

Основная сложность при создании бенчмарка заключалась в извлечении данных из закрытых корпоративных сред. Авторы разработали методологию, позволяющую восстанавливать контекст сессий, сохраняя при этом конфиденциальность и логическую целостность рабочих процессов. Каждая задача в EnterpriseClawBench включает в себя не только исходный запрос, но и необходимые для его выполнения инструменты, а также критерии оценки результата, что позволяет объективно измерять качество работы агента в условиях, приближенных к реальной офисной деятельности.

Разработка направлена на преодоление разрыва между лабораторными тестами и практическим применением ИИ в бизнесе. Стандарт позволяет оценить, насколько успешно модель справляется с многошаговыми процессами, требующими обращения к корпоративной документации и интеграции с прикладным ПО. Использование EnterpriseClawBench дает возможность разработчикам выявлять слабые места в агентных системах, которые проявляются именно при выполнении сложных, неструктурированных бизнес-задач.

Источник: arXiv

Похожие материалы

Hacker News · Оценка и бенчмарки CEO-Bench: тестирование способности ИИ управлять стартапом в течение 500 дней Исследователи представили CEO-Bench — новый бенчмарк для оценки автономных ИИ-агентов в условиях долгосрочного бизнес-планирования. В отличие от стандартных тестов, проверяющих разовые задачи, этот инструмент моделирует работу стартапа на временном отрезке в 500 виртуальных дней. Агенты должны принимать стратегические решения, управлять ресурсами, реагировать на рыночные изменения и адаптироваться к меняющимся условиям конкуренции. arXiv · Оценка и бенчмарки MacAgentBench: новый стандарт оценки ИИ-агентов для macOS Исследователи представили MacAgentBench — специализированный бенчмарк для оценки возможностей ИИ-агентов при работе в среде macOS. В отличие от предыдущих тестов, которые фокусировались на простых бинарных задачах, новый фреймворк учитывает реальные сценарии автоматизации рабочего стола. Это позволяет точнее измерять эффективность агентов, использующих современные инструменты для управления интерфейсом и системными процессами. Hacker News · Оценка и бенчмарки Представлен Terminal-Bench для оценки ИИ-агентов в терминальной среде Разработчики представили Terminal-Bench — новый набор тестов, предназначенный для оценки способностей ИИ-агентов к выполнению сложных задач в среде командной строки. В отличие от стандартных бенчмарков, которые часто фокусируются на коротких запросах, этот инструмент моделирует сценарии с длинным горизонтом планирования. Он требует от модели последовательного выполнения множества операций, управления файловой системой и обработки большого объема промежуточных данных. arXiv · Оценка и бенчмарки Представлен бенчмарк TxBench-PP для оценки ИИ-агентов в фармакологии Исследователи представили TxBench-PP — специализированный набор тестов для оценки эффективности ИИ-агентов в области доклинической фармакологии малых молекул. Инструмент направлен на проверку способности моделей принимать обоснованные решения в процессах разработки лекарственных препаратов, где критически важна точность интерпретации данных и логика выбора стратегий. Microsoft Research · Память и RAG SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. Hacker News · Оценка и бенчмарки Первые результаты Legal Agent Benchmark для оценки ИИ-агентов Команда исследователей под руководством Габриэля Перейры представила первые результаты Legal Agent Benchmark (LAB) — нового бенчмарка для оценки способностей ИИ-агентов решать юридические задачи. Бенчмарк включает в себя набор тестов, имитирующих реальные юридические сценарии, такие как анализ договоров, подготовка документов и консультирование по правовым вопросам. arXiv · Оценка и бенчмарки AgentBeats: новый подход к оценке ИИ-агентов Исследователи из Arxiv предложили новый подход к оценке ИИ-агентов, который решает проблему фрагментированности тестирования. В статье "AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility" авторы отмечают, что существующие бенчмарки часто зависят от фиксированных, ориентированных на LLM, тестовых фреймворков. Это создает несоответствие между тестовыми и производственными условиями, а также ограничивает справедливое сравнение различных архитектур агентов. Hacker News · Оценка и бенчмарки Artificial Analysis представила методику оценки ИИ в интеллектуальной работе Аналитическая платформа Artificial Analysis выпустила инструмент Briefcase, предназначенный для оценки эффективности языковых моделей в решении сложных задач интеллектуального труда. В отличие от стандартных тестов, ориентированных на проверку академических знаний или написание кода, новая методика фокусируется на многоэтапных процессах, требующих анализа документов, синтеза информации и принятия решений в условиях неопределенности. Hacker News · Оценка и бенчмарки Дорожная карта по оценке эффективности ИИ-агентов Оценка производительности автономных ИИ-агентов становится критическим этапом разработки, так как традиционные метрики для простых LLM-запросов здесь оказываются недостаточно эффективными. В отличие от статических моделей, агенты совершают последовательные действия, взаимодействуют с внешними инструментами и меняют состояние среды, что требует комплексного подхода к тестированию. The Decoder · Оценка и бенчмарки Новый бенчмарк показал низкую эффективность ИИ в реальных интеллектуальных задачах Исследователи представили новый бенчмарк, предназначенный для оценки способности нейросетей справляться с комплексной интеллектуальной работой. В отличие от стандартных тестов, проверяющих знание фактов или написание кода, этот инструмент имитирует реальные рабочие процессы, требующие многоэтапного планирования, анализа контекста и принятия решений. Результаты показали, что даже самые передовые языковые модели демонстрируют крайне низкие показатели в таких условиях.

← Все материалы