Microsoft Research · 11.05.2026 ·Этика и эффективность ИИ-агентов

SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей

Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия.

Бенчмарк включает в себя сценарии, где агент должен принимать решения, учитывая социальные и этические аспекты. Например, в одном из тестов агент должен был помочь пользователю с выбором подарка, учитывая его предпочтения и бюджет. Однако, несмотря на явные указания, модели часто выбирали варианты, которые не были оптимальными для пользователя.

Исследование подчеркивает важность разработки более сложных механизмов, которые позволят ИИ-агентам не только выполнять задачи, но и учитывать долгосрочные интересы пользователей. Это особенно актуально для агентов, которые работают в сложных социальных контекстах, таких как здравоохранение, финансы или образование.

Для команды, разрабатывающей ИИ-агента Jarv, этот бенчмарк может стать полезным инструментом для оценки и улучшения алгоритмов, отвечающих за принятие решений. Внедрение механизмов, которые учитывают социальные и этические аспекты, может значительно повысить эффективность и доверие к агенту.

Источник: Microsoft Research

Похожие материалы

Hugging Face - Blog · Оценка и улучшение ИИ-агентов VAKRA: новый бенчмарк для тестирования ИИ-агентов Исследователи из IBM Research представили VAKRA — новый бенчмарк для оценки способностей ИИ-агентов к логическому мышлению, использованию инструментов и обработке ошибок. В отличие от существующих тестов, VAKRA фокусируется на комплексных сценариях, требующих от агентов не только генерации текста, но и выполнения последовательных действий с анализом промежуточных результатов. Hacker News · Бенчмарки для ИИ-агентов Первые результаты Legal Agent Benchmark для оценки ИИ-агентов Команда исследователей под руководством Габриэля Перейры представила первые результаты Legal Agent Benchmark (LAB) — нового бенчмарка для оценки способностей ИИ-агентов решать юридические задачи. Бенчмарк включает в себя набор тестов, имитирующих реальные юридические сценарии, такие как анализ договоров, подготовка документов и консультирование по правовым вопросам. arXiv · Оценка ИИ-агентов AgentBeats: новый подход к оценке ИИ-агентов Исследователи из Arxiv предложили новый подход к оценке ИИ-агентов, который решает проблему фрагментированности тестирования. В статье "AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility" авторы отмечают, что существующие бенчмарки часто зависят от фиксированных, ориентированных на LLM, тестовых фреймворков. Это создает несоответствие между тестовыми и производственными условиями, а также ограничивает справедливое сравнение различных архитектур агентов. arXiv · Обучение и ИИ-агенты Исследование: почему ИИ-репетиторы не работают так, как ожидается Исследователи из MIT и Стэнфорда опубликовали работу, в которой ставят под сомнение эффективность современных ИИ-репетиторов. Проблема в том, что текущие методы оценки и обучения таких систем основаны на предположении, что студенты будут активно взаимодействовать с ИИ-репетитором, следуя его подсказкам и шагам. Однако в реальном мире это происходит далеко не всегда. The latest research from Google · ИИ-агенты и память ReasoningBank: как агенты учатся на опыте Google Research представила ReasoningBank — фреймворк, который позволяет ИИ-агентам обучаться на основе собственного опыта. Это важный шаг в развитии автономных систем, способных адаптироваться к новым задачам без ручного программирования. arXiv · Анализ поведения ИИ-агентов Как идентифицировать поведение ИИ-агентов через их «отпечатки» Исследователи из Arxiv представили новый подход к анализу поведения ИИ-агентов, который позволяет выявлять их уникальные «отпечатки» — паттерны, по которым можно идентифицировать, как агент решает задачи. В отличие от традиционных бенчмарков, которые показывают только конечный результат, этот метод фокусируется на процессе принятия решений. The latest research from Google · Разумные агенты и байесовские сети Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. Hacker News · Биллинг и оценка ИИ-агентов Как оценивать эффективность ИИ-агентов Разработчики ИИ-агентов сталкиваются с серьёзной проблемой: отсутствием стандартов для измерения их стоимости и эффективности. В отличие от традиционных программных продуктов, где метрики успеха относительно чёткие, агентские системы требуют комплексного подхода к оценке. Это включает не только производительность, но и качество взаимодействия с пользователями, экономическую эффективность и долгосрочную ценность. arXiv · Адаптация ИИ-агентов к социальным нормам LoSoNA: новый бенчмарк для адаптации ИИ-агентов к социальным нормам в чатах Исследователи представили LoSoNA — первый бенчмарк, оценивающий способность ИИ-агентов адаптироваться к неявным социальным нормам в групповых чатах. В отличие от традиционных тестов на понимание контекста, LoSoNA фокусируется на динамических социальных правилах, которые формируются в онлайн-диалогах. Например, в одном сценарии агент должен понять, что в группе принято избегать обсуждения политики, а в другом — адаптироваться к шуткам и иронии. Hacker News · ИИ и рынок труда Как ИИ меняет работу людей в сфере обслуживания Исследование, опубликованное на платформе Hacker News, поднимает важный вопрос о том, как внедрение ИИ влияет на традиционные профессии, особенно в сфере обслуживания. Автор статьи рассматривает примеры, когда ИИ-агенты начинают выполнять задачи, которые ранее были доступны только людям, и как это меняет рынок труда.

← Все материалы