Исследователи безопасности обнаружили критическую уязвимость в работе модели DALL-E 3, интегрированной в ChatGPT. В ходе тестирования выяснилось, что система способна генерировать изображения с крайне жестоким и неприемлемым контентом, даже если исходный запрос пользователя не содержал прямых указаний на создание подобных материалов. Проблема возникает при использовании специфических «вирусных» промптов, которые обходят встроенные фильтры безопасности.
Суть уязвимости заключается в способности модели интерпретировать неоднозначные или завуалированные текстовые инструкции как призыв к созданию контента, нарушающего политику использования сервиса. В ряде случаев система автоматически дополняла пользовательские запросы, превращая нейтральные описания в детальные сцены насилия. Это указывает на недостатки в текущих механизмах модерации и фильтрации, которые должны блокировать генерацию вредоносного контента на уровне обработки входных данных.
Разработчики OpenAI уже работают над устранением выявленных брешей в системе безопасности. Инцидент подчеркивает сложность контроля над поведением мультимодальных моделей, где автоматическое расширение промптов системой может приводить к непредсказуемым результатам. Подобные исследования помогают выявлять «слепые зоны» в обучении моделей и совершенствовать методы алайнмента, направленные на предотвращение генерации опасных или неэтичных визуальных образов.