arXiv · 10.07.2026 ·Безопасность и алайнмент

Исследователи обнаружили способ создания скрытых бэкдоров в нейросетях

Исследователи представили метод внедрения бэкдоров в глубокие нейронные сети, которые невозможно обнаружить даже при полном доступе к весам модели. Эти вредоносные вставки статистически неотличимы от параметров честно обученных систем, что делает традиционные методы аудита безопасности неэффективными. Уязвимость затрагивает широкий класс архитектур прямого распространения, позволяя злоумышленникам скрыто управлять поведением ИИ.

Проблема заключается в том, что распределение весов в скомпрометированной модели практически идентично распределению в «чистой» модели. В условиях white-box тестирования, когда аудитор имеет полный доступ к архитектуре и параметрам, разница между ними оказывается ниже порога статистической значимости. Это создает серьезные риски для цепочек поставок ИИ, где сторонние разработчики или облачные провайдеры могут предоставлять предобученные модели с «закладками».

Метод опирается на математическую близость распределений, что позволяет бэкдору оставаться невидимым для инструментов статического анализа. Внедренный триггер активирует специфическое поведение модели, не влияя на её точность при выполнении стандартных задач. Это открытие ставит под сомнение надежность использования весов моделей из недоверенных источников без проведения глубокого функционального тестирования.

Ключевые факты

Метод позволяет внедрять бэкдоры, которые невозможно выявить путем анализа весов нейросети.
Скомпрометированные модели статистически неразличимы от эталонных в метрике total variation distance.
Уязвимость применима к широкому классу глубоких нейронных сетей прямого распространения.
Исследование демонстрирует принципиальную возможность обхода white-box аудита безопасности.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Что на самом деле изучают дискретные диффузионные модели Исследователи проанализировали внутреннюю механику дискретных диффузионных моделей, ответив на вопрос, что именно оптимизирует нейросеть в процессе обучения. Авторы доказали, что денойзер, отношение оценок (score ratio) и предикторы мостов являются математически эквивалентными объектами, представленными в разных координатах. Некорректный выбор системы координат при интерпретации сети приводит к изменению процесса обучения и генерации данных. arXiv · Машинное обучение Новый метод анализа весов нейросетей через динамическое графовое кодирование Исследователи представили метод Dynamic Neural Graph Encoding (DNGE) для анализа весовых пространств глубоких нейронных сетей. Подход рассматривает архитектуру модели как динамический граф, что позволяет эффективно обрабатывать высокоразмерные параметры. В отличие от традиционных методов, DNGE учитывает последовательную природу послойной обработки данных, обеспечивая более точное представление внутренних процессов обучения и инференса моделей. arXiv · Безопасность и алайнмент Новый метод атаки на LLM через скрытые вредоносные данные в обучающих выборках Исследователи представили метод Embedded Attack, позволяющий внедрять вредоносные инструкции в безобидные наборы данных для дообучения языковых моделей. В отличие от классических атак, этот способ скрывает опасные паттерны внутри стандартных задач, что делает их невидимыми для существующих систем фильтрации и защитных механизмов, которые анализируют примеры на индивидуальном уровне. Hacker News · Исследования и наука Новый подход к интерпретируемости нейросетей через блочно-разреженные признаки Исследователи Goodfire представили метод анализа нейронной геометрии в моделях компьютерного зрения, использующий блочно-разреженные признаки (Block-Sparse Featurizers). Подход позволяет декомпозировать сложные представления моделей на интерпретируемые компоненты. Это дает возможность точнее понимать, как именно нейросети классифицируют объекты, и открывает пути для более эффективного управления поведением моделей без необходимости их полного переобучения. arXiv · Безопасность и алайнмент Уязвимости бэкдоров в семантических коммуникациях при многопользовательском доступе Исследователи проанализировали риски безопасности в системах семантической связи (SemCom), работающих через каналы с множественным доступом. В таких сетях злоумышленники могут внедрять скрытые бэкдоры, искажающие интерпретацию данных на стороне приемника. Авторы работы предложили методы защиты, позволяющие минимизировать влияние вредоносных сигналов на точность семантического вывода при одновременной передаче данных от нескольких источников. Hacker News · Безопасность и алайнмент Анализ рисков безопасности при использовании моделей из публичных репозиториев Исследователи проанализировали уязвимости ИИ-приложений, использующих предобученные модели из популярных хабов. Основная угроза заключается в возможности внедрения вредоносного кода в веса моделей, что позволяет злоумышленникам обходить системы защиты, красть данные или выполнять несанкционированные команды в инфраструктуре пользователя. Работа систематизирует векторы атак на цепочку поставок ИИ-решений и предлагает методы их минимизации. Hacker News · Исследования и наука Исследователи обнаружили «нейроны безопасности» в LLM для поиска уязвимостей в коде Исследователи выявили специфические слои нейронов в архитектуре больших языковых моделей, которые отвечают за распознавание уязвимостей в программном коде. Анализ показал, что эти нейронные структуры активируются при обработке небезопасных паттернов, что позволяет использовать их для автоматизированного аудита безопасности. Открытие дает новый метод интерпретации внутренних механизмов принятия решений моделями при анализе кода. arXiv · Машинное обучение Выпуклая аппроксимация для байесовских обратных задач на базе нейросетей Исследователи представили новый фреймворк для решения сложных байесовских обратных задач, объединяющий нейросетевое моделирование правдоподобия с методами выпуклой оптимизации. Подход позволяет преодолеть вычислительные ограничения классических методов, таких как марковские цепи Монте-Карло, обеспечивая эффективную работу в высокоразмерных пространствах, где традиционное моделирование физических процессов становится слишком затратным или неточным из-за неопределенности измерений. arXiv · Машинное обучение Управление обучением нейросетей через интерпретируемые ограничения Исследователи представили метод, позволяющий корректировать процесс обучения нейронных сетей с помощью ограничений на основе частичной зависимости (Partial Dependence). Подход направлен на создание моделей, чьи объяснения решений соответствуют экспертным знаниям или априорным ожиданиям. Это решает проблему «черного ящика», обеспечивая более высокую верность интерпретаций без существенной потери точности предсказаний самой модели. arXiv · Исследования и наука Детекция аномалий в LLM через анализ эмбеддингов SONAR Исследователи представили метод обнаружения ошибок декодирования в мультимодальных моделях, используя чувствительность эмбеддингов к возмущениям. Анализ показал, что определенные размерности в модели SONAR напрямую коррелируют с качеством генерации. Сравнивая результаты последовательного кодирования и декодирования, авторы разработали эффективный механизм выявления аномалий, позволяющий отслеживать сбои в работе нейросетей на уровне векторных представлений предложений.

← Все материалы