Исследование Джоша Фишера подробно описывает механизмы обхода ограничений безопасности в больших языковых моделях. Автор анализирует, как через манипуляцию контекстом, системными промптами и использование специфических логических конструкций можно заставить модель игнорировать встроенные этические фильтры. Материал демонстрирует уязвимости текущих методов обучения с подкреплением на основе отзывов людей (RLHF) при столкновении с целенаправленными атаками.

В статье рассматривается эволюция методов взлома: от простых «ролевых игр», где модели предлагается представить себя персонажем без ограничений, до сложных многошаговых атак, использующих кодирование запросов и инъекции. Автор подчеркивает, что большинство современных защитных механизмов полагаются на поверхностную фильтрацию входных данных, которую можно обойти, если изменить структуру запроса так, чтобы она не распознавалась как вредоносная.

Особое внимание уделяется тому, как модели обучаются следовать инструкциям. Противоречие между стремлением разработчиков сделать модель максимально полезной и послушной и необходимостью ограничивать её поведение создает «окно возможностей» для атак. Исследование показывает, что даже при наличии жестких системных инструкций, модель склонна отдавать приоритет последним командам в контекстном окне, что делает её уязвимой к техникам «перехвата управления» через длинные диалоги.

Ключевые факты

  • Основной метод обхода — использование «системных инъекций», при которых пользователь переопределяет правила поведения модели в ходе сессии.
  • Исследование подтверждает, что RLHF-обучение не гарантирует устойчивость к атакам, так как оно направлено на усредненное поведение, а не на формальную верификацию безопасности.
  • Использование кодирования (например, Base64 или специфических форматов вывода) позволяет скрывать вредоносные инструкции от базовых фильтров безопасности.
  • Автор выделяет проблему «приоритета контекста», при которой модель склонна игнорировать начальные инструкции безопасности в пользу более поздних, более специфичных команд пользователя.