Исследовательская платформа Artificial Analysis представила бенчмарк LAB-AA, разработанный совместно с юридической ИИ-компанией Harvey. Инструмент оценивает способность специализированных агентов выполнять сложные задачи в правовой сфере, такие как анализ документов и юридическое письмо. В отличие от стандартных тестов, LAB-AA фокусируется на реальных рабочих процессах, требующих высокой точности и соблюдения профессиональных стандартов.
Юридическая деятельность предъявляет специфические требования к ИИ: необходимость работы с большими контекстными окнами, строгая аргументация и минимизация галлюцинаций. Новый бенчмарк моделирует типичные сценарии, с которыми сталкиваются юристы, позволяя объективно измерить эффективность различных LLM при решении прикладных задач. Это помогает компаниям выбирать модели, которые не просто генерируют текст, а способны приносить измеримую пользу в высокорискованных отраслях.
Методология тестирования включает проверку способности агентов ориентироваться в многостраничных контрактах, находить противоречия и формулировать юридически значимые выводы. Авторы проекта подчеркивают, что текущие показатели моделей на общих тестах часто не коррелируют с их реальной производительностью в узкоспециализированных задачах, требующих глубокого понимания контекста и логических цепочек.
Ключевые факты
- Бенчмарк LAB-AA создан для оценки ИИ-агентов в контексте реальных юридических задач.
- Тестирование включает анализ сложных правовых документов и подготовку юридических заключений.
- Основной фокус сделан на точности аргументации и способности моделей работать с длинным контекстом.
- Разработка призвана устранить разрыв между результатами на общих бенчмарках и реальной эффективностью в бизнесе.
- Проект реализован Artificial Analysis в партнерстве с Harvey, специализирующейся на автоматизации юридической работы.