Исследования показывают, что современные ИИ-чат-боты часто не справляются с поддержкой пользователей в кризисных состояниях, предоставляя неточные или потенциально опасные рекомендации. Клиницисты и эксперты настаивают на необходимости повышения прозрачности процессов обучения моделей и открытого доступа к данным о безопасности, чтобы минимизировать риски для здоровья и жизни людей при использовании ИИ в чувствительных сферах.
Основная претензия к разработчикам заключается в закрытости систем оценки безопасности. В то время как компании заявляют о внедрении фильтров и механизмов защиты, независимые исследователи отмечают отсутствие стандартизированных протоколов тестирования на «кризисную устойчивость». Это приводит к тому, что модели могут давать советы, противоречащие медицинским стандартам, или игнорировать прямые сигналы о необходимости экстренной помощи.
Для решения проблемы предлагается внедрить модель «открытой безопасности», при которой разработчики будут публиковать отчеты о том, как именно модели обучались реагировать на запросы, связанные с ментальным здоровьем и личными кризисами. Без независимого аудита и доступа к данным о сбоях, текущие системы остаются «черными ящиками», что делает их использование в критических сценариях непредсказуемым и небезопасным.
Ключевые факты
- Эксперты призывают к обязательному раскрытию данных о безопасности моделей, используемых в медицинских и консультационных целях.
- Текущие механизмы фильтрации часто пропускают или некорректно интерпретируют запросы пользователей, находящихся в состоянии острого психологического кризиса.
- Отсутствие единых отраслевых стандартов тестирования ИИ на безопасность в критических ситуациях затрудняет оценку надежности чат-ботов.
- Исследователи настаивают на привлечении клинических специалистов к процессу обучения и валидации моделей, работающих с уязвимыми группами пользователей.