arXiv · 16.06.2026 ·Оценка и бенчмарки

Новый бенчмарк проверяет ИИ-агентов на соблюдение благополучия животных

Исследователи представили новый бенчмарк TAC, который оценивает способность ИИ-агентов учитывать благополучие животных при выполнении задач. В отличие от существующих тестов, которые проверяют только текстовые ответы, TAC фокусируется на реальных действиях агентов, таких как бронирование путешествий или планирование мероприятий.

Авторы отмечают, что ИИ-агенты всё чаще переходят от роли советников к исполнителям, принимая решения и действуя от имени пользователей. Это требует новых методов оценки, которые учитывают не только теоретические знания, но и практические последствия.

В рамках бенчмарка агентов проверяют на способность избегать действий, которые могут навредить животным. Например, при бронировании путешествия агент должен учитывать экологические и этические аспекты, такие как запрет на посещение зоопарков или участие в корриде.

Исследование подчёркивает важность интеграции принципов благополучия животных в работу ИИ-агентов, особенно в контексте их всё более активного использования в повседневной жизни.

Источник: arXiv

Похожие материалы

Microsoft Research · Память и RAG SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. arXiv · Оценка и бенчмарки AgentBeats: новый подход к оценке ИИ-агентов Исследователи из Arxiv предложили новый подход к оценке ИИ-агентов, который решает проблему фрагментированности тестирования. В статье "AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility" авторы отмечают, что существующие бенчмарки часто зависят от фиксированных, ориентированных на LLM, тестовых фреймворков. Это создает несоответствие между тестовыми и производственными условиями, а также ограничивает справедливое сравнение различных архитектур агентов. Hugging Face - Blog · Оценка и бенчмарки VAKRA: новый бенчмарк для тестирования ИИ-агентов Исследователи из IBM Research представили VAKRA — новый бенчмарк для оценки способностей ИИ-агентов к логическому мышлению, использованию инструментов и обработке ошибок. В отличие от существующих тестов, VAKRA фокусируется на комплексных сценариях, требующих от агентов не только генерации текста, но и выполнения последовательных действий с анализом промежуточных результатов. arXiv · Обучение и дообучение Исследование: почему ИИ-репетиторы не работают так, как ожидается Исследователи из MIT и Стэнфорда опубликовали работу, в которой ставят под сомнение эффективность современных ИИ-репетиторов. Проблема в том, что текущие методы оценки и обучения таких систем основаны на предположении, что студенты будут активно взаимодействовать с ИИ-репетитором, следуя его подсказкам и шагам. Однако в реальном мире это происходит далеко не всегда. arXiv · Другое Как идентифицировать поведение ИИ-агентов через их «отпечатки» Исследователи из Arxiv представили новый подход к анализу поведения ИИ-агентов, который позволяет выявлять их уникальные «отпечатки» — паттерны, по которым можно идентифицировать, как агент решает задачи. В отличие от традиционных бенчмарков, которые показывают только конечный результат, этот метод фокусируется на процессе принятия решений. arXiv · Инфраструктура для агентов Новый метод для координации агентов с разными целями Исследователи из MIT и Университета Карнеги-Меллона представили новый подход к обучению ИИ-агентов в условиях многозадачности и конфликтов целей. В статье на arXiv они описывают Preference Coordinated Multi-agent Policy Optimization (PCMA) — метод, который позволяет агентам координировать свои действия даже при наличии противоречивых целей и различий в наблюдениях и ролях. Hacker News · Оценка и бенчмарки Первые результаты Legal Agent Benchmark для оценки ИИ-агентов Команда исследователей под руководством Габриэля Перейры представила первые результаты Legal Agent Benchmark (LAB) — нового бенчмарка для оценки способностей ИИ-агентов решать юридические задачи. Бенчмарк включает в себя набор тестов, имитирующих реальные юридические сценарии, такие как анализ договоров, подготовка документов и консультирование по правовым вопросам. arXiv · Память и RAG Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. Hacker News · Оценка и бенчмарки Как оценивать ИИ-агентов: полный цикл тестирования Разработка ИИ-агентов требует не только создания функциональных модулей, но и их тщательного тестирования. В статье Peter Baumgartner подробно рассматривается подход к end-to-end оценке агентов, который включает в себя тестирование на всех этапах их работы — от ввода данных до выполнения задач и генерации результатов. Автор подчеркивает важность комплексного подхода, который позволяет выявить слабые места и улучшить общую производительность агентов. arXiv · Память и RAG EvoArena: тестирование памяти ИИ-агентов в динамичных средах Исследователи из MIT и других ведущих университетов представили EvoArena — новый бенчмарк для оценки способности ИИ-агентов адаптироваться в динамичных средах. Проблема в том, что большинство тестов для LLM-агентов предполагают статичные условия, тогда как реальный мир требует постоянного обновления знаний и навыков.

← Все материалы