arXiv · 17.06.2026 ·Исследования и наука

Влияние механизмов самокоррекции чат-ботов на доверие пользователей

Исследователи изучили, как стратегии исправления ошибок влияют на восприятие надежности социальных чат-ботов. В ходе эксперимента с участием 120 человек анализировалось поведение пользователей при столкновении с недостоверной информацией, которую генерирует ИИ. Установлено, что способность модели признать ошибку и самостоятельно её исправить напрямую коррелирует с уровнем доверия, которое пользователь готов оказать системе в будущем.

Ключевым фактором оказалась социальная связь, формирующаяся между человеком и алгоритмом. Когда чат-бот имитирует человекоподобное общение, ошибки воспринимаются пользователями более болезненно, чем при взаимодействии с чисто техническими интерфейсами. Исследование показывает, что прозрачность процесса исправления и готовность системы к самокоррекции позволяют минимизировать негативные последствия «галлюцинаций» и сохранить лояльность аудитории.

Результаты работы подчеркивают важность проектирования диалоговых систем с учетом психологии взаимодействия. Разработчикам рекомендуется внедрять механизмы, которые не просто предоставляют факты, но и демонстрируют процесс верификации данных, если система обнаруживает противоречия в собственных ответах. Это помогает пользователям лучше оценивать границы компетенций ИИ и снижает риск формирования ложных ожиданий от взаимодействия с технологией.

Источник: arXiv

Похожие материалы

Hacker News · Другое Как Reddit может манипулировать результатами поиска ИИ Исследование, опубликованное на 404 Media, показало, что манипулирование результатами поиска ИИ с помощью Reddit — задача проще, чем кажется. Учёные продемонстрировали, что даже небольшие изменения в контенте Reddit могут существенно влиять на результаты поиска, генерируемые ИИ-моделями. Это открывает новые риски для достоверности информации, получаемой через ИИ-ассистентов и поисковые системы. arXiv · Исследования и наука Исследование скрытых ошибок в работе ИИ-агентов Исследователи из Arxiv представили longitudinal study о скрытых ошибках в работе ИИ-агентов, которые работают как долгосрочные автономные системы. В исследовании анализируется система личного ассистента, работающая с марта 2026 года. Система включает в себя около 40 запланированных задач, 8 поставщиков LLM, инструментальный прокси и базу знаний. Hacker News · Безопасность и алайнмент Исследование: как пользовательский контент может отравить ИИ-агентов Исследователи из MIT и Университета Карнеги-Меллона опубликовали работу, в которой показано, как пользовательский контент может «отравить» ИИ-агентов, особенно тех, которые работают с глубокими исследованиями. В статье рассматриваются сценарии, в которых злоумышленники могут встраивать вредоносные данные в пользовательские запросы, что приводит к искажению работы агентов. The Verge · Рынок труда и экономика Исследование Pew Research: рост использования ИИ и опасения американцев Согласно свежему опросу Pew Research Center, уровень проникновения ИИ-чат-ботов в повседневную жизнь американцев значительно вырос. На текущий момент 49% респондентов заявляют, что пользуются подобными инструментами на регулярной основе, тогда как в 2024 году этот показатель составлял лишь 33%. Наиболее заметная динамика наблюдается у ChatGPT: доля пользователей сервиса удвоилась по сравнению с 2023 годом, достигнув отметки в 44% от общего числа опрошенных. arXiv · Обучение и дообучение Исследование: почему ИИ-репетиторы не работают так, как ожидается Исследователи из MIT и Стэнфорда опубликовали работу, в которой ставят под сомнение эффективность современных ИИ-репетиторов. Проблема в том, что текущие методы оценки и обучения таких систем основаны на предположении, что студенты будут активно взаимодействовать с ИИ-репетитором, следуя его подсказкам и шагам. Однако в реальном мире это происходит далеко не всегда. The Decoder · Оценка и бенчмарки Новый метод прогнозирования ошибок ИИ-моделей до их релиза Исследователи OpenAI представили методологию, позволяющую оценивать частоту возникновения ошибок в работе нейросетей еще до их публичного выпуска. Текущие стандарты тестирования безопасности часто не учитывают специфические сценарии поведения моделей в реальных условиях, что приводит к неожиданным сбоям после развертывания. Новый подход направлен на заполнение этих пробелов и создание более предсказуемой среды для внедрения технологий. arXiv · Исследования и наука Исследование: как загрязнённый контент влияет на рекомендации ИИ Исследователи из MIT и других университетов изучили, как загрязнённый контент в интернете, включая фальшивые отзывы и промо-страницы, влияет на рекомендации, генерируемые поисковыми моделями с дополнением контента из веба. Они обнаружили, что даже одна страница с поддельной информацией может существенно исказить результаты, которые получают пользователи. Это особенно актуально для сервисов, которые полагаются на живые данные из интернета для формирования рекомендаций. Hacker News · Безопасность и алайнмент Mistral AI повторяет дезинформацию в половине случаев Исследование NewsGuard показало, что чат-бот Mistral AI повторяет ложную информацию в 50% случаев, когда его запрашивают о государственной пропаганде. В частности, речь идёт о дезинформации, связанной с войной в Украине и Иране. Hacker News · Рынок труда и экономика Скрытая человеческая работа за ИИ-ассистентами Исследование Work AI Institute от Glean раскрывает, насколько сильно ИИ-ассистенты зависят от скрытого человеческого труда. Авторы вводят термины «ботситтинг» (бот-сидение) и «ботшиттинг» (бот-дерьмо), чтобы описать, как сотрудники вынуждены исправлять ошибки ИИ и контролировать его работу. Это создаёт новую категорию рабочих обязанностей, которая не учитывается в официальных описаниях должностей. arXiv · Память и RAG Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями.

← Все материалы