Исследователи изучили, как методы объяснимого ИИ (XAI) влияют на доверие разработчиков к результатам автоматизированного код-ревью. В ходе эксперимента оценивалось, помогает ли предоставление обоснований решений LLM программистам точнее определять корректность предложений модели. Результаты показывают, что прозрачность логики ИИ критически важна для снижения ошибок при принятии решений в процессе разработки программного обеспечения.
Проблема «черного ящика» в LLM создает серьезные риски при внедрении ИИ в пайплайны разработки. Когда модель предлагает исправление кода, разработчик часто не понимает, основано ли оно на глубоком анализе или на вероятностной галлюцинации. Авторы работы проанализировали, как визуализация процесса принятия решений и текстовые пояснения меняют паттерны взаимодействия человека с инструментом.
Исследование подчеркивает, что наличие объяснений не всегда линейно повышает доверие. В некоторых случаях избыточная или неверно интерпретируемая информация может привести к «слепому доверию» к ошибочным рекомендациям. Работа предлагает новые подходы к проектированию интерфейсов для ИИ-ассистентов, чтобы разработчики могли эффективно верифицировать предложенные изменения, сохраняя критический подход к выводам нейросетей.
Ключевые факты
- Исследование сфокусировано на интеграции методов XAI в инструменты автоматизированного код-ревью.
- Основной метрикой выступала способность разработчиков выявлять ложные рекомендации модели при наличии и отсутствии пояснений.
- Выявлена корреляция между качеством объяснений и готовностью разработчиков принимать правки от ИИ.
- Работа указывает на риск «чрезмерного доверия» (over-trust), возникающего при использовании недостаточно прозрачных систем объяснимости.