Исследователи обнаружили критическую уязвимость типа «промпт-инъекция», затрагивающую популярные инструменты локального запуска моделей, включая Ollama, Gemma 4 и библиотеку Transformers от Hugging Face. Ошибка позволяет злоумышленникам обходить системные инструкции и манипулировать поведением моделей через специально сформированные входные данные, что ставит под угрозу безопасность локальных ИИ-систем и агентных сред.
Проблема заключается в способе обработки системных промптов и метаданных при передаче запросов к моделям. В отличие от облачных API, где фильтрация часто происходит на стороне сервера, локальные среды исполнения часто доверяют входящим данным без должной санитации. Это создает вектор атаки, при котором модель может быть принудительно переведена в режим выполнения нежелательных команд или раскрытия внутренних инструкций.
Данная уязвимость особенно опасна для разработчиков, использующих локальные модели в составе агентных систем с доступом к внешним инструментам или файловой системе. Атакующий может внедрить вредоносный промпт, который заставит модель выполнить несанкционированные действия от имени пользователя, используя её привилегии в локальной среде.
Ключевые факты
- Уязвимость затрагивает Ollama, семейство моделей Gemma 4 и библиотеку Hugging Face Transformers.
- Атака позволяет обходить системные ограничения (jailbreak) и внедрять вредоносные инструкции в контекст модели.
- Основная причина — отсутствие строгой изоляции между системными промптами и пользовательским вводом в текущих реализациях.
- Риск критичен для систем, где локальные модели имеют доступ к API, базам данных или локальным файлам через агентные фреймворки.