Исследователи представили фреймворк причинного восприятия (Causal Perception), описывающий ситуации, когда ИИ-агенты используют конкурирующие структурные причинно-следственные модели (SCM) для анализа одной и той же системы. Различия в моделях приводят к тому, что агенты делают разные выводы о вероятностных распределениях и справедливости принимаемых решений, даже при идентичных внешних воздействиях на среду.
В основе работы лежит анализ того, как агенты интерпретируют причинно-следственные связи в условиях неопределенности. Когда несколько систем ИИ строят собственные SCM, их «видение» реальности начинает расходиться. Это создает проблему согласованности: агенты могут приходить к противоречивым оценкам справедливости (fairness) системы, так как их логические выводы базируются на разных предположениях о структуре данных и влиянии интервенций.
Авторы подчеркивают, что причинное восприятие является критическим фактором для разработки автономных систем, которые должны взаимодействовать друг с другом или с человеком. Понимание того, как именно агент формирует свою модель мира, позволяет выявлять скрытые предвзятости и ошибки в логике принятия решений, которые невозможно обнаружить с помощью стандартных статистических методов, не учитывающих причинно-следственную структуру.
Ключевые факты
- Фреймворк фокусируется на конфликтах между агентами, использующими разные структурные причинно-следственные модели (SCM) для описания одной системы.
- Различия в SCM приводят к расхождениям в вероятностных прогнозах при одинаковых наборах внешних воздействий (интервенций).
- Концепция позволяет формализовать понятие «ситуативной справедливости» в многоагентных средах, где каждый участник обладает ограниченным или искаженным представлением о причинности.
- Исследование направлено на улучшение интерпретируемости и надежности ИИ-систем в сложных динамических сценариях, где важна оценка последствий действий.