Исследователи представили метод Ghostcommit, позволяющий внедрять вредоносные промпт-инъекции в изображения для компрометации ИИ-агентов. Техника использует стеганографию для скрытия команд, которые активируются при обработке визуального контента мультимодальными моделями. Это создает серьезную угрозу для систем, использующих ИИ для анализа пользовательских файлов, позволяя злоумышленникам красть конфиденциальные данные или перехватывать управление агентными процессами без ведома пользователя.
Метод основан на манипуляции пикселями таким образом, чтобы они оставались незаметными для человеческого глаза, но считывались нейросетью как текстовые инструкции. В ходе экспериментов удалось доказать, что даже при минимальных изменениях в структуре изображения ИИ-модели могут интерпретировать скрытый контент как системный запрос. Это делает стандартные методы фильтрации текста неэффективными, так как вредоносный код доставляется через визуальный канал передачи данных.
Основная опасность Ghostcommit заключается в его скрытности. Агенты, работающие с внешними данными, часто доверяют визуальному вводу, не применяя к нему глубокую проверку на наличие скрытых команд. В результате злоумышленники могут использовать этот вектор для атак на цепочки поставок данных или автоматизированные системы обработки документов, где ИИ выступает в роли основного интерпретатора контента.
Ключевые факты
- Ghostcommit использует стеганографию для встраивания вредоносных промптов в визуальные данные.
- Атака направлена на мультимодальные модели, которые анализируют изображения в рамках агентных рабочих процессов.
- Метод позволяет обходить традиционные текстовые фильтры безопасности, так как инструкции скрыты в структуре пикселей.
- Уязвимость создает риски кражи секретов и несанкционированного выполнения команд в автоматизированных ИИ-системах.