Hacker News · 14.06.2026 ·Бенчмарки для ИИ-агентов

Первые результаты Legal Agent Benchmark для оценки ИИ-агентов

Команда исследователей под руководством Габриэля Перейры представила первые результаты Legal Agent Benchmark (LAB) — нового бенчмарка для оценки способностей ИИ-агентов решать юридические задачи. Бенчмарк включает в себя набор тестов, имитирующих реальные юридические сценарии, такие как анализ договоров, подготовка документов и консультирование по правовым вопросам.

LAB оценивает не только точность ответов, но и способность агентов работать с контекстом, понимать сложные правовые конструкции и следовать многоступенчатым инструкциям. Это особенно важно для разработчиков ИИ-агентов, так как юридическая сфера требует высокой степени точности и контекстуального понимания.

В тестах приняли участие несколько ведущих ИИ-моделей, включая GPT-4, Claude 2 и другие. Результаты показали, что ни одна из моделей не достигла идеального уровня, но некоторые продемонстрировали значительный прогресс в понимании и решении юридических задач. Это указывает на необходимость дальнейших улучшений в области контекстуального понимания и многозадачности для ИИ-агентов.

Для команды Jarv эти результаты важны, так как они помогают понять, насколько готовы текущие ИИ-модели к решению сложных задач в юридической сфере. Это также подчеркивает важность разработки более продвинутых механизмов памяти и контекстуального понимания для ИИ-агентов.

Источник: Hacker News

Похожие материалы

Hugging Face - Blog · Оценка и улучшение ИИ-агентов VAKRA: новый бенчмарк для тестирования ИИ-агентов Исследователи из IBM Research представили VAKRA — новый бенчмарк для оценки способностей ИИ-агентов к логическому мышлению, использованию инструментов и обработке ошибок. В отличие от существующих тестов, VAKRA фокусируется на комплексных сценариях, требующих от агентов не только генерации текста, но и выполнения последовательных действий с анализом промежуточных результатов. Microsoft Research · Этика и эффективность ИИ-агентов SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. arXiv · Оценка ИИ-агентов AgentBeats: новый подход к оценке ИИ-агентов Исследователи из Arxiv предложили новый подход к оценке ИИ-агентов, который решает проблему фрагментированности тестирования. В статье "AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility" авторы отмечают, что существующие бенчмарки часто зависят от фиксированных, ориентированных на LLM, тестовых фреймворков. Это создает несоответствие между тестовыми и производственными условиями, а также ограничивает справедливое сравнение различных архитектур агентов. NVIDIA Technical Blog · Бенчмарки для ИИ-агентов NVIDIA создала первый бенчмарк для агентов и лидирует в кодинге NVIDIA представила первый бенчмарк для оценки производительности ИИ-агентов, который учитывает сложность современных инференс-задач. До этого в индустрии не было единого стандарта для измерения эффективности агентов, особенно в задачах, требующих многократных вызовов моделей и сложной оркестрации. arXiv · AI-агенты и память EvoArena: тестирование памяти ИИ-агентов в динамичных средах Исследователи из MIT и других ведущих университетов представили EvoArena — новый бенчмарк для оценки способности ИИ-агентов адаптироваться в динамичных средах. Проблема в том, что большинство тестов для LLM-агентов предполагают статичные условия, тогда как реальный мир требует постоянного обновления знаний и навыков. arXiv · ИИ-агенты и научные лаборатории LabVLA: ИИ-агенты для выполнения научных экспериментов Исследователи представили LabVLA — фреймворк, который позволяет ИИ-агентам не только анализировать научные данные и генерировать гипотезы, но и выполнять физические действия в лабораториях. Это важный шаг в интеграции ИИ в реальные научные процессы, где до сих пор требуется человеческое вмешательство. arXiv · Оркестрация знаний для ИИ-агентов Agents-K1: новый подход к оркестрации научных знаний для ИИ-агентов Исследователи из MIT и других ведущих университетов представили Agents-K1 — фреймворк, направленный на улучшение научной оркестрации знаний для ИИ-агентов. В отличие от существующих решений, которые часто ограничиваются поверхностным анализом научных работ, Agents-K1 фокусируется на ключевых сущностях, утверждениях, доказательствах, механизмах и методологических линиях, что критически важно для научного мышления. arXiv · Оценка и аудит ИИ Как аудит решений улучшает прозрачность оценки ИИ Исследователи из MIT и других ведущих университетов предложили новый подход к аудиту публичных оценок ИИ-моделей. В статье, опубликованной на arXiv, они утверждают, что текущие рейтинги ИИ часто воспринимаются как окончательные, но на самом деле они представляют собой выборочные временные ряды, искажённые правилами отчётности, пересмотром бенчмарков и пропусками данных. Hacker News · AI-агенты и мировые модели Как мировые модели дают ИИ-агентам «первое лицо» В новом видео исследователи обсуждают концепцию мировых моделей (World Models) и их роль в формировании «первого лица» у ИИ-агентов. Мировые модели — это подход, при котором ИИ создает внутреннюю репрезентацию окружающего мира, что позволяет ему действовать более автономно и адаптивно. Hacker News · Тестирование ИИ-агентов Как оценивать ИИ-агентов: полный цикл тестирования Разработка ИИ-агентов требует не только создания функциональных модулей, но и их тщательного тестирования. В статье Peter Baumgartner подробно рассматривается подход к end-to-end оценке агентов, который включает в себя тестирование на всех этапах их работы — от ввода данных до выполнения задач и генерации результатов. Автор подчеркивает важность комплексного подхода, который позволяет выявить слабые места и улучшить общую производительность агентов.

← Все материалы