OpenAI внедрила систему GPT-Red, которая использует методы самообучения для поиска уязвимостей в собственных языковых моделях. Автоматизированный подход показал кратное превосходство над ручным тестированием, выявляя 84% успешных атак в тестовых сценариях. Полученные данные используются для усиления защиты будущих версий моделей, включая GPT-5.6 Sol, что делает процесс обеспечения безопасности более масштабируемым и эффективным.
Традиционные методы «красных команд» (red teaming), основанные на работе экспертов-людей, ограничены скоростью и когнитивными возможностями специалистов. В ходе экспериментов люди смогли обнаружить лишь 13% векторов атак, которые удалось выявить с помощью ИИ-агентов. Метод «самоигры» (self-play) позволяет модели постоянно генерировать новые, более сложные стратегии взлома, адаптируясь к защитным механизмам целевой системы.
Этот подход знаменует переход от эпизодического тестирования к непрерывному циклу безопасности. Автоматизация позволяет проводить стресс-тестирование моделей в режиме реального времени на протяжении всего процесса обучения, а не только на финальных стадиях релиза. Это критически важно для предотвращения утечек конфиденциальных данных, генерации вредоносного контента и обхода этических ограничений в крупных языковых моделях.
Ключевые факты
- Система GPT-Red выявляет 84% уязвимостей в тестовых сценариях против 13% у людей-тестировщиков.
- Метод основан на технике самообучения (self-play), где одна модель атакует другую, постоянно повышая сложность задач.
- Результаты тестирования напрямую интегрируются в процесс дообучения и защиты будущих моделей, таких как GPT-5.6 Sol.
- Автоматизация позволяет значительно ускорить цикл разработки безопасных ИИ-систем, исключая «человеческий фактор» как узкое место.