Исследователи из MIT выяснили, что эффективность инструментов объяснимости ИИ в медицине напрямую зависит от квалификации пользователя. В ходе тестирования систем диагностики кожных заболеваний выяснилось, что непрофессионалы повышают точность решений за счет слепого доверия модели, тогда как врачи первичного звена, напротив, склонны игнорировать верные подсказки ИИ, если они противоречат их собственному клиническому опыту.
Эксперимент показал, что универсальный подход к проектированию ИИ-интерфейсов в здравоохранении неэффективен. Для пациентов и неспециалистов критически важна простота интерпретации и наглядность рекомендаций, которые помогают компенсировать отсутствие медицинских знаний. В то же время для практикующих врачей интерфейсы должны предоставлять более глубокие данные и контекст, чтобы поддерживать критическое мышление и предотвращать когнитивные искажения при взаимодействии с алгоритмами.
Результаты исследования подчеркивают необходимость создания адаптивных систем, которые меняют способ подачи информации в зависимости от того, кто именно взаимодействует с моделью. Без учета этого фактора внедрение ИИ в клиническую практику может привести к снижению качества диагностики из-за неправильной интерпретации данных или чрезмерного делегирования ответственности алгоритму.
Ключевые факты
- Исследование MIT показало, что непрофессионалы при использовании ИИ для диагностики кожи чаще полагаются на рекомендации модели, чем на собственные суждения.
- Врачи первичного звена продемонстрировали склонность к игнорированию правильных подсказок ИИ, если те вступали в конфликт с их профессиональной оценкой.
- Эффективность инструментов объяснимости (explainability tools) варьируется в зависимости от уровня подготовки пользователя, что требует кастомизации UI/UX в медицинских ИИ-продуктах.
- Разрыв в результатах между группами пользователей указывает на риск снижения точности диагностики при использовании стандартных интерфейсов для всех категорий специалистов.