Исследователи представили протокол JADR (Jacobian Assessment of Danger Recognition) для оценки безопасности LLM. В отличие от традиционных методов, полагающихся на анализ текстовых ответов с помощью других моделей, JADR анализирует внутренние градиенты (якобианы) нейросети. Это позволяет выявлять скрытую уязвимость механизмов безопасности до того, как модель совершит опасное действие, независимо от используемых промптов.
Традиционные подходы к тестированию безопасности часто ограничены субъективностью «LLM-судьи» и зависят от конкретного набора атак. Новый метод фокусируется на том, как модель математически распознает опасный контент на уровне активаций. Это дает возможность количественно измерить «хрупкость» защитных слоев и понять, как квантование моделей влияет на их способность распознавать угрозы в процессе инференса.
Методология JADR позволяет проводить более глубокий аудит безопасности, выходя за рамки поверхностных тестов. Исследование показывает, что даже если модель внешне кажется безопасной, внутренние метрики могут указывать на высокую вероятность обхода защиты при специфических изменениях входных данных. Такой подход критически важен для оценки надежности моделей перед их внедрением в критические бизнес-системы.
Ключевые факты
- JADR использует анализ якобианов для прямого измерения чувствительности модели к опасным запросам.
- Метод позволяет оценивать устойчивость безопасности при различных уровнях квантования весов модели.
- Протокол исключает зависимость от сторонних LLM-судей, снижая риск ошибок при интерпретации ответов.
- Исследование направлено на выявление скрытых уязвимостей, которые не проявляются при стандартном тестировании на основе генерации текста.