Исследователи представили метод QR-STT (QR-Structured Thermal Triggers), позволяющий проводить целевые семантические атаки на мультимодальные модели, работающие с тепловизионными данными. Новый подход использует скрытые тепловые паттерны, которые обманывают алгоритмы классификации и описания изображений, не требуя доступа к весам модели или процессам дообучения, что выявляет критические уязвимости в защите систем компьютерного зрения на базе ИИ.
Инфракрасные модели (IR-VLM) всё чаще применяются в автономных системах, робототехнике и системах безопасности, где критически важна точность интерпретации тепловых сигнатур. Метод QR-STT демонстрирует, что даже незначительные, структурированные изменения в тепловом спектре могут полностью изменить семантическую интерпретацию сцены моделью. Это ставит под угрозу надежность систем, полагающихся на тепловизионное распознавание объектов в реальных условиях.
Разработанный фреймворк работает как «черный ящик», что делает его особенно опасным для существующих систем, так как для реализации атаки не требуется знание внутренней архитектуры нейросети. Исследование подчеркивает необходимость разработки новых методов защиты и повышения устойчивости кросс-модального выравнивания в моделях, которые объединяют визуальные данные с текстовыми описаниями.
Ключевые факты
- QR-STT представляет собой метод «черного ящика», не требующий обучения или доступа к параметрам модели.
- Атаки направлены на нарушение работы классификаторов, систем генерации описаний и визуальных вопросно-ответных систем (VQA).
- Метод использует структурированные тепловые возмущения, которые остаются незаметными для стандартных алгоритмов фильтрации.
- Исследование акцентирует внимание на уязвимости кросс-модального семантического выравнивания в тепловизионных моделях.