arXiv · 02.08.2026 ·Безопасность и алайнмент

Уязвимость систем генерации изображений к атакам через рассогласование фильтров

Исследователи выявили критическую уязвимость в системах преобразования текста в изображение (T2I), связанную с рассогласованием между защитными фильтрами и генеративными моделями. Атаки типа «zero-query» позволяют обходить цензуру без обращения к целевой системе, используя разницу в интерпретации семантических конструкций. Это создает риски генерации вредоносного контента, который успешно проходит первичную проверку, но трансформируется в запрещенные изображения на этапе отрисовки.

Проблема заключается в том, что современные системы безопасности часто полагаются на текстовые фильтры, которые не учитывают специфику визуальной интерпретации модели. Злоумышленники используют этот разрыв, создавая состязательные промпты, которые кажутся безопасными для фильтра, но содержат скрытые инструкции для генератора. В отличие от традиционных методов, требующих множества запросов к API, данный подход работает автономно, что делает его сложным для обнаружения стандартными системами мониторинга.

Авторы работы предлагают новый метод оптимизации, который учитывает семантическое сходство между суррогатными моделями и целевой системой. Это позволяет создавать более устойчивые к фильтрации промпты, сохраняющие свою эффективность при переносе на различные архитектуры. Исследование подчеркивает необходимость внедрения многоуровневой защиты, которая анализирует не только входной текст, но и промежуточные представления в процессе генерации изображений.

Ключевые факты

Метод «zero-query» позволяет обходить защитные фильтры без необходимости отправки множества запросов к целевой модели.
Уязвимость основана на рассогласовании (discrepancy) между логикой работы текстового фильтра безопасности и визуальным декодером генератора.
Атаки, основанные на переносе (transfer-based), теперь могут быть оптимизированы для работы с несколькими суррогатными моделями, что повышает их универсальность.
Исследование демонстрирует, что текущие системы безопасности T2I-моделей недостаточно эффективно учитывают семантическую интерпретацию промптов на стороне генератора.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Безопасность и алайнмент Уязвимости в генерации изображений через DALL-E 3 Исследователи безопасности обнаружили критическую уязвимость в работе модели DALL-E 3, интегрированной в ChatGPT. В ходе тестирования выяснилось, что система способна генерировать изображения с крайне жестоким и неприемлемым контентом, даже если исходный запрос пользователя не содержал прямых указаний на создание подобных материалов. Проблема возникает при использовании специфических «вирусных» промптов, которые обходят встроенные фильтры безопасности. Lobsters · Память и RAG Уязвимости систем RAG: атаки на контекстную память Исследование описывает новый класс атак на системы RAG (Retrieval-Augmented Generation), в ходе которых злоумышленники манипулируют базой знаний для внедрения вредоносных инструкций. В отличие от классических атак на промпты, этот метод использует уязвимости в процессе извлечения данных, заставляя модель игнорировать системные установки и выполнять команды, скрытые в индексированных документах или внешних источниках данных. Hacker News · Безопасность и алайнмент Исследование: генерация вредоносного ПО с помощью LLM Kimi K3 и GLM 5.2 Исследователи продемонстрировали, что современные языковые модели Kimi K3 и GLM 5.2 способны генерировать функциональное вредоносное ПО, которое успешно обходит стандартные системы защиты. Стоимость создания такого кода через API моделей составляет около 2 долларов. Эксперимент подчеркивает уязвимость текущих механизмов безопасности при использовании LLM для автоматизации кибератак и создания труднообнаружимых угроз. arXiv · Исследования и наука Безопасная авторегрессионная генерация изображений через итеративные кодбуки Исследователи представили метод повышения безопасности и качества авторегрессионных моделей генерации изображений. В отличие от диффузионных моделей, работающих в непрерывных пространствах, новый подход использует итеративно улучшаемые кодбуки для дискретизации визуальных токенов. Это позволяет точнее контролировать процесс генерации, минимизируя артефакты и повышая соответствие текстовым запросам за счет более эффективной архитектуры квантования визуальных паттернов. arXiv · Машинное обучение Устранение уязвимости CLIP к типографическим атакам без дообучения Исследователи представили метод повышения устойчивости CLIP-моделей к типографическим атакам, при которых случайный текст на изображении искажает интерпретацию визуальных данных. Новый подход позволяет локализовать концепты без необходимости переобучения модели, эффективно отделяя семантическое влияние текста от визуальных признаков. Это решение критически важно для корректной работы современных мультимодальных систем, использующих CLIP в качестве базового визуального энкодера. Hacker News · Исследования и наука Инструменты для «очеловечивания» текста снижают точность детекторов ИИ Исследователи проанализировали эффективность специализированных инструментов, предназначенных для маскировки ИИ-сгенерированного контента. Эти сервисы перефразируют текст, изменяя статистические закономерности, на которые опираются детекторы. В результате точность систем распознавания ИИ-текста существенно падает, что создает серьезные проблемы для академической среды и платформ, требующих верификации авторства контента в условиях растущей доступности генеративных моделей. Hacker News · Безопасность и алайнмент Новый метод защиты вредоносного ПО от анализа с помощью ИИ Исследователи обнаружили новый метод противодействия автоматизированному анализу вредоносного кода с помощью LLM. Злоумышленники начали внедрять в исполняемые файлы фрагменты текста, которые вызывают срабатывание фильтров безопасности или политик использования ИИ-моделей. Это заставляет инструменты анализа блокировать обработку кода, что затрудняет автоматическую детекцию угроз и замедляет работу специалистов по кибербезопасности. Hacker News · Безопасность и алайнмент Уязвимость систем защиты LLM, основанных на контекстном копировании Исследователи доказали, что механизмы безопасности, полагающиеся на вставку инструкций в контекстное окно модели, не обеспечивают надежной защиты. Анализ показал, что такие «системные промпты» легко обходятся с помощью атак типа «инъекция», так как модель не может гарантированно отличить защитные инструкции от пользовательского ввода, что ставит под сомнение текущие методы обеспечения безопасности ИИ. arXiv · Безопасность и алайнмент Использование «отвлекающих» изображений для защиты VLM от джейлбрейков Исследователи обнаружили, что добавление к запросу постороннего «отвлекающего» изображения (decoy image) значительно снижает эффективность атак на мультимодальные модели (VLM). Этот метод усиливает существующие защитные механизмы, заставляя модель игнорировать вредоносные инструкции, закодированные в тексте. Эффект наблюдается даже при использовании простых изображений, не связанных с контекстом атаки, что открывает новый вектор повышения безопасности систем. Hacker News · Безопасность и алайнмент Анализ рисков безопасности при использовании моделей из публичных репозиториев Исследователи проанализировали уязвимости ИИ-приложений, использующих предобученные модели из популярных хабов. Основная угроза заключается в возможности внедрения вредоносного кода в веса моделей, что позволяет злоумышленникам обходить системы защиты, красть данные или выполнять несанкционированные команды в инфраструктуре пользователя. Работа систематизирует векторы атак на цепочку поставок ИИ-решений и предлагает методы их минимизации.

← Все материалы