arXiv · 17.06.2026 ·Безопасность и алайнмент

Динамический анализ жизненного цикла для защиты ML-моделей

Исследователи представили новый подход к обеспечению безопасности машинного обучения, направленный на выявление вредоносного кода, скрытого внутри весов и архитектур предобученных моделей. Традиционные методы защиты, основанные на статическом анализе форматов файлов и поиске известных сигнатур атак, часто оказываются неэффективными против современных угроз, способных обходить стандартные фильтры.

Предложенная методика фокусируется на динамическом анализе поведения модели на протяжении всего её жизненного цикла. Система отслеживает выполнение операций в процессе инференса, выявляя аномалии, которые могут указывать на внедренные вредоносные инструкции. Такой подход позволяет обнаруживать скрытые угрозы, даже если они не соответствуют ранее зафиксированным шаблонам атак, обеспечивая более глубокий уровень проверки целостности моделей перед их развертыванием в производственных средах.

Разработка решает проблему доверия к сторонним ML-артефактам, которые становятся всё более распространенными в корпоративных инфраструктурах. Внедрение динамического контроля позволяет минимизировать риски эксплуатации уязвимостей, встроенных в модели на этапе обучения или передачи, и создает основу для более надежных пайплайнов использования ИИ-решений в критически важных бизнес-процессах.

Источник: arXiv

Похожие материалы

arXiv · Память и RAG Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. arXiv · Машинное обучение Giskard: новый метод безопасного децентрализованного обучения моделей Исследователи представили Giskard — протокол для децентрализованного машинного обучения, который решает проблему одновременного обеспечения конфиденциальности данных и защиты от вредоносных узлов. В распределенных системах клиенты обучают модели локально, обмениваясь параметрами или градиентами с соседями. Традиционные подходы часто сталкиваются с конфликтом: методы защиты приватности, такие как дифференциальная приватность или шифрование, затрудняют выявление «византийских» атак, при которых участники сети намеренно передают искаженные данные для саботажа обучения. The Decoder · Оценка и бенчмарки Новый метод прогнозирования ошибок ИИ-моделей до их релиза Исследователи OpenAI представили методологию, позволяющую оценивать частоту возникновения ошибок в работе нейросетей еще до их публичного выпуска. Текущие стандарты тестирования безопасности часто не учитывают специфические сценарии поведения моделей в реальных условиях, что приводит к неожиданным сбоям после развертывания. Новый подход направлен на заполнение этих пробелов и создание более предсказуемой среды для внедрения технологий. arXiv · Машинное обучение Метод MAST для точечного удаления нежелательных навыков рассуждения в LLM Исследователи представили метод MAST (Mechanism-Aligned Selective Targeting), предназначенный для избирательного удаления специфических паттернов рассуждения, привитых моделям через обучение с подкреплением (RLVR). Традиционные подходы к «забыванию» (unlearning) часто приводят к деградации общих способностей модели из-за полнопараметрических обновлений. Новый метод позволяет изолировать и корректировать только те веса, которые отвечают за конкретные логические цепочки, минимизируя побочный ущерб для базовых знаний модели. arXiv · Машинное обучение Новый метод обучения мультимодальных моделей через разделение восприятия и рассуждения Исследователи представили метод обучения мультимодальных моделей, который решает проблему «коротких путей» при использовании самодистилляции. Традиционный подход, при котором модель обучается на собственных результатах с опорой на эталонные данные, часто приводит к тому, что мультимодальные системы игнорируют визуальный контекст, полагаясь исключительно на текстовые подсказки. Новый алгоритм разделяет процессы восприятия изображения и логического рассуждения, что заставляет модель учитывать визуальные признаки как равноправный источник информации. arXiv · Машинное обучение Новый подход к моделированию динамических систем через явные структуры Исследователи представили альтернативный подход к обучению динамических систем, который отходит от использования универсальных нелинейных аппроксиматоров. Вместо наращивания сложности нейронных сетей для захвата сложных паттернов, авторы предлагают архитектуру, где моделирующая способность системы определяется её внутренней структурой. Такой метод позволяет эффективнее описывать поведение динамических процессов, опираясь на математически обоснованные взаимодействия, а не на избыточную нелинейность. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Машинное обучение Укрепление киберфизических систем с помощью обучения с подкреплением Исследователи проанализировали эффективность контроллеров на базе обучения с подкреплением (Reinforcement Learning, RL) в нелинейных системах, подверженных внешним кибератакам. В работе рассматриваются сценарии с внедрением ложных данных и атаками типа «отказ в обслуживании» (DoS), которые представляют серьезную угрозу для критической инфраструктуры и автоматизированных производственных процессов. arXiv · Машинное обучение Новый метод контроля рисков при обновлении моделей Исследователи представили подход к созданию локальных сертификатов для оценки прироста риска модели при внесении изменений. Метод позволяет строить двусторонние доверительные интервалы для изменения функции потерь в окрестности текущих параметров модели. Это дает возможность математически обоснованно оценивать, как именно обновление весов повлияет на поведение системы на всей популяции данных, а не только на конкретном проверочном наборе. arXiv · Модели и релизы Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода.

← Все материалы