Исследование объясняет уязвимость LLM к промпт-инъекциям через фундаментальные принципы работы архитектуры Transformer. В отличие от классического ПО, где данные и команды разделены, в трансформерах контекст и инструкции обрабатываются как единый поток токенов. Это стирает границы между системными установками и пользовательским вводом, позволяя модели переключаться на выполнение вредоносных команд, заложенных в запросе.
Основная проблема кроется в механизме внимания (attention mechanism), который динамически перераспределяет веса между всеми токенами в окне контекста. Когда модель встречает инструкции, противоречащие исходным системным установкам, она не обладает встроенным механизмом приоритезации «авторитета» источника. В результате модель воспринимает последующий текст как равнозначный или даже более значимый контекст для генерации следующего токена.
Авторы подчеркивают, что текущие методы защиты, такие как фильтрация ключевых слов или использование дополнительных классификаторов, являются лишь «заплатками». Поскольку архитектура Transformer по своей природе стремится к максимизации вероятности продолжения последовательности, она неизбежно будет следовать за наиболее «убедительным» или статистически вероятным сценарием, даже если он нарушает правила безопасности, заданные разработчиком.
Ключевые факты
- В архитектуре Transformer отсутствует архитектурное разделение между управляющими инструкциями и пользовательскими данными.
- Механизм внимания (attention) придает равный статистический вес всем токенам в контекстном окне, что позволяет инъекциям перехватывать управление.
- Модель обучается предсказывать следующий токен, а не следовать иерархии команд, что делает ее уязвимой к переопределению контекста.
- Текущие защитные системы (фильтры, внешние классификаторы) не устраняют фундаментальную причину уязвимости на уровне обработки токенов.