arXiv · 12.06.2026 ·Адаптация ИИ-агентов к социальным нормам

LoSoNA: новый бенчмарк для адаптации ИИ-агентов к социальным нормам в чатах

Исследователи представили LoSoNA — первый бенчмарк, оценивающий способность ИИ-агентов адаптироваться к неявным социальным нормам в групповых чатах. В отличие от традиционных тестов на понимание контекста, LoSoNA фокусируется на динамических социальных правилах, которые формируются в онлайн-диалогах. Например, в одном сценарии агент должен понять, что в группе принято избегать обсуждения политики, а в другом — адаптироваться к шуткам и иронии.

Бенчмарк включает 50 сценариев с реальными транскриптами чатов, где агенту предстоит не только анализировать текст, но и предсказывать, какие темы или стили общения будут уместны. Это особенно важно для агентов, работающих в социальных средах, где нарушение неписаных правил может привести к недопониманию или конфликтам.

LoSoNA может стать важным инструментом для разработчиков ИИ-агентов, так как он позволяет оценить не только языковые навыки, но и социальную интеллигентность. Для Jarv это особенно актуально, поскольку адаптация к социальным нормам — ключевой элемент в построении агентов, способных эффективно взаимодействовать с пользователями в различных контекстах.

Исследование подчеркивает, что текущие модели LLM часто проваливают тесты на адаптацию, демонстрируя ограниченное понимание неявных правил. Это открывает новые направления для улучшения архитектуры агентов, включая интеграцию механизмов социального контекста и динамической адаптации.

Источник: arXiv

Похожие материалы

Microsoft Research · Этика и эффективность ИИ-агентов SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. Hacker News · Бенчмарки для ИИ-агентов Первые результаты Legal Agent Benchmark для оценки ИИ-агентов Команда исследователей под руководством Габриэля Перейры представила первые результаты Legal Agent Benchmark (LAB) — нового бенчмарка для оценки способностей ИИ-агентов решать юридические задачи. Бенчмарк включает в себя набор тестов, имитирующих реальные юридические сценарии, такие как анализ договоров, подготовка документов и консультирование по правовым вопросам. arXiv · Диагностика ошибок в LLM Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Оценка ИИ-агентов AgentBeats: новый подход к оценке ИИ-агентов Исследователи из Arxiv предложили новый подход к оценке ИИ-агентов, который решает проблему фрагментированности тестирования. В статье "AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility" авторы отмечают, что существующие бенчмарки часто зависят от фиксированных, ориентированных на LLM, тестовых фреймворков. Это создает несоответствие между тестовыми и производственными условиями, а также ограничивает справедливое сравнение различных архитектур агентов. Hacker News · Многомодальные LLM и оценка Многомодальные LLM как судьи для оценки агентов В последнее время всё больше внимания уделяется использованию LLM (Large Language Models) в качестве судей для оценки качества работы других ИИ-агентов. В статье на Substack автор Yinghong Lan рассматривает концепцию Multimodal LLM-as-a-Judge, которая позволяет оценивать не только текстовые, но и мультимодальные данные, такие как изображения и видео. Hugging Face - Blog · Оценка и улучшение ИИ-агентов VAKRA: новый бенчмарк для тестирования ИИ-агентов Исследователи из IBM Research представили VAKRA — новый бенчмарк для оценки способностей ИИ-агентов к логическому мышлению, использованию инструментов и обработке ошибок. В отличие от существующих тестов, VAKRA фокусируется на комплексных сценариях, требующих от агентов не только генерации текста, но и выполнения последовательных действий с анализом промежуточных результатов. Hugging Face - Blog · AI-агенты и логика Почему масштабируемая корпоративная ИИ-адоптация требует агентной логики Исследователи из IBM Research в своем новом блоге на Hugging Face подчеркивают, что для успешного внедрения ИИ в корпоративные процессы недостаточно только языковых моделей (LLMs). Ключевым элементом становится агентная логика, которая позволяет моделям выполнять сложные задачи, требующие последовательных действий и взаимодействия с внешними системами. arXiv · ИИ-агенты и научные лаборатории LabVLA: ИИ-агенты для выполнения научных экспериментов Исследователи представили LabVLA — фреймворк, который позволяет ИИ-агентам не только анализировать научные данные и генерировать гипотезы, но и выполнять физические действия в лабораториях. Это важный шаг в интеграции ИИ в реальные научные процессы, где до сих пор требуется человеческое вмешательство. Hacker News · Персонализация LLM для агентов Guardian Angels: персонализация LLM для повышения продуктивности и безопасности Проект Guardian Angels представляет собой фреймворк для персонализации больших языковых моделей (LLM) с целью повышения продуктивности и безопасности. Разработчики предлагают использовать индивидуальные настройки и адаптацию моделей под конкретные задачи пользователей, что может быть полезно для создания ИИ-агентов. arXiv · Многомодальные ИИ-агенты и RLVR CORA: метод для устранения разрыва между мышлением и ответом в многомодальных ИИ-агентах Исследователи из MIT и других ведущих университетов представили метод CORA (Consistency-Oriented Reasoning Alignment), который решает проблему несоответствия между процессом рассуждений и конечным ответом в многомодальных системах с подкрепляющим обучением и проверяемыми вознаграждениями (RLVR).

← Все материалы