Новое исследование предлагает рассматривать проблему промпт-инъекций в больших языковых моделях через призму «ролевой путаницы» (role confusion). Авторы анализируют, как модели, обученные следовать инструкциям и принимать определенные системные роли, теряют границы между заданными правилами и пользовательским вводом. В основе проблемы лежит конфликт приоритетов, когда модель не может однозначно определить, какой из входящих сигналов является приоритетным — системный промпт или вредоносная инструкция, замаскированная под контекст задачи.
В работе детально разбирается механика того, как LLM переключаются между контекстами. Исследователи показывают, что текущие методы защиты, основанные на фильтрации ключевых слов или простых правилах, часто оказываются неэффективными, так как атака эксплуатирует саму архитектуру следования инструкциям (instruction following). Вместо попыток блокировать отдельные фразы, предлагается пересмотреть подходы к изоляции системных инструкций и управлению контекстным окном, чтобы модель могла четко разграничивать иерархию команд.
Материал содержит практические примеры того, как подобные атаки могут приводить к утечке системных данных или несанкционированному выполнению функций в агентных системах. Авторы подчеркивают, что по мере усложнения агентов, способных взаимодействовать с внешними инструментами и API, риск эксплуатации ролевой путаницы становится критическим фактором безопасности. Предложенная классификация помогает разработчикам лучше понять уязвимые места в логике оркестрации и проектировании системных промптов для защиты от манипуляций.