Исследователи продемонстрировали уязвимость открытых весовых моделей к атакам типа «отравление данных» (data poisoning), стоимость реализации которых составляет менее 100 долларов. Эксперимент показал, что внедрение вредоносных примесей в обучающую выборку позволяет злоумышленникам внедрять скрытые триггеры, заставляя нейросеть выдавать предвзятые или неверные ответы при определенных запросах, что ставит под угрозу безопасность цепочек поставок ИИ.
Атака заключается в добавлении небольшого количества специально подготовленных данных в процесс дообучения (fine-tuning) модели. Даже при ограниченном бюджете злоумышленник может скомпрометировать поведение модели, не имея доступа к инфраструктуре разработчика. Это создает серьезные риски для компаний, использующих открытые веса для создания собственных специализированных решений, так как проверка чистоты данных становится критически важным этапом безопасности.
Результаты исследования подчеркивают необходимость разработки новых методов верификации обучающих наборов и внедрения систем мониторинга поведения моделей после дообучения. В условиях роста популярности open-weight моделей, таких как Llama от Meta (признана экстремистской организацией, деятельность запрещена в РФ), подобные угрозы требуют пересмотра подходов к доверию к сторонним датасетам и весам.
Ключевые факты
- Стоимость проведения атаки на модель составила менее 100 долларов США.
- Метод позволяет внедрять скрытые триггеры, которые активируются при специфических пользовательских запросах.
- Исследование подтверждает уязвимость процесса дообучения (fine-tuning) к манипуляциям с данными.
- Атака не требует доступа к исходным данным разработчика, достаточно контроля над частью данных, используемых для дообучения.
- Выводы указывают на критическую необходимость внедрения инструментов аудита данных для защиты цепочек поставок ИИ.