OpenAI разработала специализированную модель GPT-Red, предназначенную для автоматического поиска уязвимостей в больших языковых моделях. В ходе тестирования система показала эффективность 84% против 13% у профессиональных ред-тимеров при попытках внедрения промпт-инъекций. Модель обучалась с помощью обучения с подкреплением через самоигру, что позволило ей выявлять сложные векторы атак, включая ранее неизвестные методы обхода защиты.
Разработка GPT-Red стала ответом на необходимость масштабирования процессов безопасности при подготовке новых версий моделей. Традиционный ручной ред-тиминг требует значительных временных затрат и человеческих ресурсов, в то время как автоматизированный подход позволяет проводить тысячи итераций атак в сжатые сроки. Использование «защитников» в лице других LLM создает динамическую среду, где атакующий агент постоянно адаптируется к новым методам фильтрации и защиты.
Одним из ключевых достижений системы стало обнаружение класса атак «Fake Chain-of-Thought». В этом сценарии модель-атакующий имитирует процесс логического рассуждения, чтобы заставить целевую систему игнорировать инструкции безопасности. Применение GPT-Red позволило сократить количество сбоев в работе модели GPT-5.6 Sol в шесть раз на наиболее сложных бенчмарках, связанных с прямыми промпт-инъекциями.
Ключевые факты
- GPT-Red превзошла людей в задачах на промпт-инъекции с результатом 84% против 13%.
- Система снизила частоту критических ошибок в модели GPT-5.6 Sol в 6 раз на целевых тестах.
- В процессе обучения использовался метод обучения с подкреплением через самоигру (self-play reinforcement learning).
- Модель выявила новый класс атак, получивший название «Fake Chain-of-Thought».