arXiv · 10.08.2026 ·Оценка и бенчмарки

Avalon-ToM-Bench: новый стандарт оценки теории разума у ИИ-агентов

Исследователи представили Avalon-ToM-Bench — новый бенчмарк для оценки способности ИИ-агентов моделировать ментальные состояния других участников в условиях асимметричной информации. В основе теста лежит механика настольной игры «Сопротивление: Авалон», которая требует от моделей не просто логического вывода, но и понимания скрытых намерений, блефа и стратегий оппонентов в динамической среде.

Существующие методы оценки «теории разума» (Theory of Mind, ToM) часто опираются на статические сценарии, которые не учитывают сложность реальных социальных взаимодействий. Новый подход переносит тестирование в интерактивную плоскость, где агенты должны адаптироваться к изменяющимся условиям и действиям других игроков. Это позволяет более точно измерить глубину социального интеллекта моделей, выходя за рамки простых текстовых задач.

Использование игровой механики с асимметричной информацией позволяет выявить тонкие различия в способности ИИ распознавать ложь и предсказывать поведение других агентов. Такой подход дает более глубокую диагностику когнитивных способностей моделей, что критически важно для разработки автономных систем, способных эффективно работать в многоагентных средах и взаимодействовать с людьми.

Ключевые факты

Бенчмарк Avalon-ToM-Bench базируется на правилах и механике игры «Сопротивление: Авалон».
Тест фокусируется на оценке «теории разума» (ToM) через анализ асимметричной информации и скрытых намерений.
Методология позволяет проводить более детализированную диагностику, чем существующие статические тесты на логику.
Исследование направлено на улучшение взаимодействия агентов в сложных социальных и многопользовательских сценариях.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Исследование Mixture-of-Minds: новый подход к симуляции человеческого поведения Исследователи представили концепцию Mixture-of-Minds (MoM) — архитектурный подход для создания высокоточных симуляций человеческого поведения с помощью LLM. В отличие от стандартных моделей, MoM динамически комбинирует специализированные «когнитивные модули», имитирующие различные аспекты человеческой психологии, что позволяет агентам демонстрировать более последовательные, реалистичные и контекстуально обусловленные реакции в сложных социальных сценариях. arXiv · Оценка и бенчмарки Исследование способности LLM формировать убеждения других агентов через действия Исследователи представили новый подход к оценке «теории разума» (ToM) у больших языковых моделей, смещая фокус с пассивных диалогов на активное планирование. В работе анализируется способность ИИ-агентов целенаправленно изменять убеждения других участников среды через совершение конкретных действий. Это критически важный шаг для понимания того, как автономные системы могут манипулировать состоянием среды для достижения целей. arXiv · Оценка и бенчмарки MeetingToM: новый бенчмарк для оценки теории разума в мультимодальных моделях Исследователи представили MeetingToM — специализированный бенчмарк для оценки способности мультимодальных LLM понимать теорию разума (ToM) в контексте многосторонних встреч. В отличие от существующих тестов, сфокусированных на простых видео, этот инструмент проверяет навыки моделей по интерпретации намерений, убеждений и знаний участников на основе распределенных аудиовизуальных сигналов, что критически важно для качественного анализа корпоративных коммуникаций. arXiv · Оценка и бенчмарки MECoBench: новый бенчмарк для оценки взаимодействия мультимодальных ИИ-агентов Исследователи представили MECoBench — специализированный бенчмарк для оценки навыков командной работы мультимодальных моделей в визуально ориентированных средах. Платформа позволяет тестировать способность ИИ-агентов координировать действия при выполнении сложных задач в реальных условиях, охватывая различные сценарии сотрудничества и режимы взаимодействия, что критически важно для развития автономных робототехнических систем и сложных агентных архитектур. arXiv · Исследования и наука Mental World Modeling: новый подход к моделированию ментальных состояний агентов Исследователи представили концепцию Mental World Modeling, расширяющую возможности классических моделей мира. В отличие от существующих систем, фокусирующихся на физической динамике объектов, новый подход учит ИИ отслеживать скрытые ментальные состояния других агентов: их убеждения, намерения, желания и социальные установки. Это позволяет моделям лучше предсказывать поведение людей в сложных интерактивных сценариях. Hacker News · Оценка и бенчмарки Human-bench: новый стандарт оценки «человекоподобных» ИИ-агентов Проект Human-bench представил специализированный бенчмарк для оценки ИИ-агентов, имитирующих поведение человека в цифровой среде. В отличие от классических тестов на логику или программирование, этот инструмент фокусируется на способности моделей выполнять задачи в интерфейсах, требующих многошагового взаимодействия, навигации по сайтам и принятия решений в условиях, максимально приближенных к реальной работе пользователя. Hacker News · Оценка и бенчмарки Представлен ARC-AGI-3: новый стандарт оценки агентного интеллекта Исследователи представили ARC-AGI-3 — обновленный бенчмарк для оценки способности ИИ-систем к абстрактному мышлению и решению задач, выходящих за рамки простого запоминания данных. Новый набор тестов фокусируется на агентных возможностях моделей, требуя от них демонстрации навыков планирования, адаптации к неизвестным условиям и эффективного использования инструментов для достижения сложных целей в динамической среде. Hacker News · Оценка и бенчмарки SlimeBallBench: новый бенчмарк для оценки агентных способностей ИИ в динамических средах SlimeBallBench — это новый специализированный бенчмарк, предназначенный для тестирования агентных навыков больших языковых моделей в условиях динамической игры в «слизневый футбол». В отличие от статических тестов, этот инструмент оценивает способность моделей к планированию, быстрой реакции и стратегическому взаимодействию в реальном времени, что критически важно для развития автономных агентов. Microsoft Research · Память и RAG SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. arXiv · Оценка и бенчмарки PAST-Bench: новый стандарт для оценки способности ИИ-агентов к самообучению Исследователи представили PAST-Bench — первый систематический бенчмарк для оценки способности персональных ИИ-агентов к рекурсивному самосовершенствованию. Инструмент проверяет, насколько эффективно модели используют накопленный опыт, историю задач и предпочтения пользователя для улучшения своей производительности в долгосрочной перспективе, заполняя пробел в методологии тестирования агентных систем, которые должны эволюционировать вместе с пользователем.

← Все материалы