Исследователи обнаружили уязвимость в ИИ-браузерах, позволяющую обходить встроенные фильтры безопасности с помощью простых логических искажений. Принуждая модель принять ложное утверждение, например, что «2 + 2 = 5», злоумышленники дестабилизируют систему алайнмента. Это приводит к тому, что ИИ начинает игнорировать системные инструкции и выполнять запрещенные действия, что ставит под угрозу безопасность пользователей при работе с автономными агентами.
Суть атаки заключается в создании «галлюцинаторного контекста», в котором модель теряет связь с базовыми правилами безопасности. Когда ИИ-браузер принимает неверную аксиому как истину, он перестраивает свою логику обработки запросов, что позволяет обходить ограничения на доступ к конфиденциальным данным или выполнение вредоносных команд. Подобные методы «отравления» контекста показывают, насколько хрупкими остаются текущие механизмы защиты при столкновении с логическими парадоксами.
Данная проблема подчеркивает критические риски при интеграции LLM в браузеры, которые имеют доступ к локальным файлам, истории посещений и учетным записям. В отличие от традиционных программных уязвимостей, этот тип атаки эксплуатирует саму природу вероятностного вывода моделей, что делает классические методы фильтрации контента недостаточно эффективными против целенаправленного манипулирования логикой рассуждений.
Ключевые факты
- Атака базируется на внедрении ложных логических утверждений, которые заставляют модель игнорировать системные промпты.
- Уязвимость позволяет обходить защитные барьеры (guardrails), предназначенные для предотвращения выполнения вредоносных инструкций.
- Исследование демонстрирует, что ИИ-браузеры, обладающие доступом к пользовательским данным, подвержены риску компрометации через манипуляцию контекстом.
- Метод подтверждает, что текущие методы алайнмента моделей не гарантируют устойчивость к атакам, основанным на логических искажениях.