Исследователи проанализировали более 2000 реальных диалогов между пациентами и медицинскими чат-ботами, выявив критический разрыв между лабораторными тестами и практикой. Оказалось, что стандартные методы оценки ИИ, опирающиеся на симуляции с «идеальными» пользователями, не учитывают эмоциональную нестабильность и непредсказуемые паттерны общения реальных людей, что снижает эффективность диагностики и качество взаимодействия в здравоохранении.
Разработчики медицинских систем часто обучают модели на структурированных и логически последовательных данных, полученных от подготовленных участников. Однако в реальных условиях пациенты склонны к нелинейному изложению симптомов, использованию специфической лексики и выражению сильных эмоций, которые текущие LLM интерпретируют с ошибками. Это создает риск неверной оценки состояния здоровья и снижает доверие к автоматизированным сервисам.
Для решения проблемы авторы работы представили новый симулятор пациентов, который имитирует вариативность реального человеческого поведения. Инструмент позволяет тестировать модели в условиях, приближенных к стрессовым ситуациям, с которыми сталкиваются люди при обращении за медицинской помощью. Это помогает выявлять слабые места в логике чат-ботов до их внедрения в клиническую практику.
Ключевые факты
- Проанализировано 2 053 реальных диалога между пользователями и медицинскими чат-ботами.
- Выявлено, что текущие методы оценки ИИ игнорируют эмоциональный контекст и разнообразие стилей общения пациентов.
- Разработан специализированный симулятор пациентов для более точного тестирования LLM в здравоохранении.
- Исследование подчеркивает необходимость перехода от «идеализированных» бенчмарков к анализу неструктурированных данных из реальной практики.