Исследовательская группа запустила публичный челлендж, предложив сообществу обнаружить намеренно внедренный бэкдор в большой языковой модели. Организаторы выделили призовой фонд в размере $51 200 для тех, кто сможет идентифицировать уязвимость или вредоносный триггер. Инициатива направлена на изучение методов внедрения скрытых инструкций и развитие инструментов для аудита безопасности нейросетевых архитектур.
Проблема безопасности цепочек поставок ИИ становится критической: злоумышленники могут внедрять скрытые паттерны поведения на этапе обучения или дообучения модели. В отличие от традиционного программного обеспечения, где бэкдоры ищут через анализ исходного кода, в LLM такие закладки часто проявляются только при подаче специфических «триггерных» запросов, что делает их крайне сложными для обнаружения стандартными методами тестирования.
Данный эксперимент предоставляет исследователям доступ к весам модели, позволяя проводить глубокий статический и динамический анализ. Участникам предлагается не просто найти аномалию, но и доказать её наличие, что помогает систематизировать подходы к верификации моделей перед их развертыванием в продакшн-средах. Результаты конкурса могут лечь в основу новых стандартов безопасности для разработчиков, использующих сторонние предобученные модели.
Ключевые факты
- Общий призовой фонд конкурса составляет $51 200.
- Участникам предоставлен доступ к весам модели для поиска скрытых уязвимостей.
- Задача заключается в обнаружении вредоносного триггера, внедренного в архитектуру LLM.
- Инициатива сфокусирована на проблеме безопасности цепочек поставок ИИ и методах аудита «черных ящиков».
- Конкурс проводится в формате открытого исследования для выявления новых векторов атак на нейросети.