arXiv · 18.06.2026 ·Исследования и наука

Исследование распространения предвзятости в мультиагентных системах

Исследователи представили концепцию Contagion Networks — формальный метод для отслеживания того, как систематические ошибки и предвзятость моделей-оценщиков передаются между участниками мультиагентных систем. В архитектурах, где одни агенты проверяют или корректируют работу других, субъективные искажения в суждениях «оценщика» могут накапливаться и искажать итоговый результат всей цепочки обработки данных.

В ходе экспериментов с использованием модели DeepSeek-chat авторы протестировали работу трех агентов с различными профилями предвзятости. Выяснилось, что даже незначительные отклонения в логике одного узла сети способны масштабироваться, создавая каскадный эффект. Это приводит к тому, что конечные выводы системы становятся предсказуемо смещенными в сторону тех искажений, которые были заложены на этапе первичной оценки.

Данная работа подчеркивает риски автоматизированных цепочек принятия решений, где ИИ выступает в роли арбитра. Понимание механизмов распространения таких ошибок становится критически важным для проектирования надежных агентных систем, требующих высокой точности и объективности. Методология позволяет количественно оценить «индекс заражения» предвзятостью и выявить уязвимые звенья в агентных пайплайнах.

Источник: arXiv

Похожие материалы

Hacker News · Безопасность и алайнмент Безопасность ИИ-агентов зависит от чистоты входящих данных Новое исследование подчеркивает критическую проблему в безопасности автономных ИИ-систем: аудит самих моделей оказывается недостаточным, если не контролируются источники данных, на которых они обучаются или из которых получают контекст в реальном времени. Авторы работы доказывают, что злоумышленники могут использовать уязвимости в цепочке поставок данных, чтобы внедрять скрытые инструкции или искажать поведение агентов еще до того, как информация попадет в их рабочую память. arXiv · Инфраструктура для агентов Исследование надежности сетей ИИ-агентов Ученые из MIT и других ведущих университетов опубликовали исследование, посвященное надежности сетей ИИ-агентов. В работе рассматриваются системы, где несколько моделей взаимодействуют для решения задач, а не одна модель. Такие системы часто превосходят по эффективности одиночные модели, но их надежность остается недостаточно изученной. arXiv · Исследования и наука Новая математическая модель для анализа многоагентных систем Исследователи представили теоретическую базу для анализа сложных многоагентных систем, в которых действия отдельных участников напрямую влияют на общие наблюдаемые результаты. Работа описывает динамику систем с обратными связями, используя два ключевых параметра: «мощность» (power), определяющую степень влияния агента на коллективный исход, и «функции отклика» (response functions), характеризующие реакцию агента на изменение среды. arXiv · Исследования и наука Исследование скрытых ошибок в работе ИИ-агентов Исследователи из Arxiv представили longitudinal study о скрытых ошибках в работе ИИ-агентов, которые работают как долгосрочные автономные системы. В исследовании анализируется система личного ассистента, работающая с марта 2026 года. Система включает в себя около 40 запланированных задач, 8 поставщиков LLM, инструментальный прокси и базу знаний. Hacker News · Безопасность и алайнмент Исследование: как пользовательский контент может отравить ИИ-агентов Исследователи из MIT и Университета Карнеги-Меллона опубликовали работу, в которой показано, как пользовательский контент может «отравить» ИИ-агентов, особенно тех, которые работают с глубокими исследованиями. В статье рассматриваются сценарии, в которых злоумышленники могут встраивать вредоносные данные в пользовательские запросы, что приводит к искажению работы агентов. arXiv · Безопасность и алайнмент Верификация вероятностных политик безопасности для ИИ-агентов Исследователи представили новый метод верификации, позволяющий контролировать поведение ИИ-агентов в сложных цифровых средах с учетом вероятностных факторов. Ранее существующие системы мониторинга в реальном времени опирались на детерминированные политики, выраженные на языке Datalog, что ограничивало их применение в условиях неопределенности. Новый подход расширяет возможности формальной верификации, позволяя задавать правила безопасности для сценариев, где действия агента могут приводить к различным исходам с разной степенью вероятности. Hugging Face - Blog · Безопасность и алайнмент Исследование MosaicLeaks: уязвимости ИИ-агентов при работе с данными Исследователи представили проект MosaicLeaks, посвященный анализу безопасности автономных ИИ-агентов в условиях работы с конфиденциальными данными. В ходе экспериментов изучалось, насколько эффективно модели могут защищать приватную информацию при выполнении сложных задач, требующих доступа к внешним источникам и базам данных. Основное внимание было уделено сценариям, в которых агент может непреднамеренно раскрыть чувствительные сведения в процессе обработки запросов или при взаимодействии с API. arXiv · Исследования и наука Влияние механизмов самокоррекции чат-ботов на доверие пользователей Исследователи изучили, как стратегии исправления ошибок влияют на восприятие надежности социальных чат-ботов. В ходе эксперимента с участием 120 человек анализировалось поведение пользователей при столкновении с недостоверной информацией, которую генерирует ИИ. Установлено, что способность модели признать ошибку и самостоятельно её исправить напрямую коррелирует с уровнем доверия, которое пользователь готов оказать системе в будущем. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Оценка и бенчмарки Новые протоколы для оценки уверенности в многоагентных системах Исследователи из MIT и Стэнфорда предложили новый подход к оценке уверенности в многоагентных системах. В работе, опубликованной на arXiv, они демонстрируют, как агрегировать сигналы уверенности от нескольких агентов для повышения надежности и прозрачности принятия решений.

← Все материалы