arXiv · 14.06.2026 ·Защита ИИ-агентов от вредоносных данных

InstantForget удаляет вредоносные данные без переобучения модели

Исследователи из MIT и других университетов представили метод InstantForget, который позволяет удалять вредоносные данные (backdoors) из обученных моделей без переобучения. Это особенно важно для ИИ-агентов, которые могут сталкиваться с подозрительными или вредоносными данными в процессе работы.

InstantForget работает на этапе инференса, то есть модель остается неизменной, а вредоносные данные удаляются путем сброса признаков на этапе предсказания. Это позволяет сохранить полезность модели для чистых данных, одновременно удаляя вредоносные триггеры.

Исследование показывает, что метод эффективен против различных типов вредоносных атак, включая BadNets, WaNet, Blended и SIG. Например, для WaNet метод достигает точности 0.683, что значительно выше, чем у предыдущих подходов.

Для разработчиков ИИ-агентов этот метод может стать важным инструментом для обеспечения безопасности и надежности моделей. InstantForget позволяет избежать дорогостоящего и трудоемкого процесса переобучения модели, сохраняя при этом ее эффективность для легитимных задач.

Источник: arXiv

Похожие материалы

arXiv · ИИ-агенты и память Исследование геометрии памяти в непрерывном обучении Учёные изучили структуру памяти в непрерывном обучении, чтобы понять, как ИИ-агенты могут сохранять знания без катастрофического забывания. Исследование основано на фреймворке Accessibility Collapse и анализирует, как модели, такие как ResNet-18, теряют и восстанавливают информацию при обучении на последовательных задачах. arXiv · ИИ-агенты и память ReGrad: постобучение без потери знаний Исследователи из MIT и Google Research предложили новый подход к постобучению моделей, который решает проблему накопления весового дрейфа. В работе «Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift» авторы вводят концепцию ReGrad — метода, позволяющего моделям обновляться после развертывания без потери ранее усвоенных знаний. arXiv · ИИ-агенты и память Новый подход к редактированию знаний в ИИ-агентах Исследователи из MIT и Университета Карнеги-Меллона представили новый метод редактирования знаний в ИИ-моделях, который позволяет обновлять конкретные факты, не затрагивая близлежащие, но нерелевантные данные. В статье, опубликованной на arXiv, авторы предлагают использовать память, которая извлекается во время инференса, и адаптеры для коррекции предпочтений модели. Hacker News · Оркестрация и безопасность ИИ-агентов Как защитить ИИ-агента от токсичных данных Разработчики ИИ-агентов сталкиваются с проблемой токсичных данных, которые могут искажать работу моделей. В статье на Digital Grease подробно разбирается подход к фильтрации и обработке вредоносных данных, которые могут попасть в поток информации, обрабатываемый агентом. Hacker News · Безопасность ИИ-агентов Исследование: как пользовательский контент может отравить ИИ-агентов Исследователи из MIT и Университета Карнеги-Меллона опубликовали работу, в которой показано, как пользовательский контент может «отравить» ИИ-агентов, особенно тех, которые работают с глубокими исследованиями. В статье рассматриваются сценарии, в которых злоумышленники могут встраивать вредоносные данные в пользовательские запросы, что приводит к искажению работы агентов. arXiv · Обучение и генерализация в ИИ-агентах Новый фреймворк для обучения ИИ-агентов в условиях зависимости данных Исследователи из Arxiv представили новый фреймворк для обучения ИИ-агентов, который учитывает зависимость данных. В статье "Learning with Simulators: No Regret in a Computationally Bounded World" авторы рассматривают минимальные предположения, необходимые для генерализации в условиях, где данные не являются независимыми. Это особенно важно для ИИ-агентов, которые часто работают с последовательными или взаимосвязанными данными, например, в задачах планирования или взаимодействия с окружающей средой. arXiv · Оптимизация инференса в ИИ-агентах Как снизить задержки в системах с потоковыми данными Исследователи из MIT и Google предложили новый подход к обработке потоковых данных в системах машинного обучения, который может существенно снизить задержки и нагрузку на серверы. В статье, опубликованной на arXiv, они описывают метод, который отделяет процесс инференса от обновления состояния, используя вероятностное прореживание (probabilistic thinning). arXiv · Робототехника и ИИ-агенты Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. Hacker News · Отладка данных для ИИ-агентов Predictive Data Debugging: отладка данных до обучения модели Команда Goodfire.ai представила подход Predictive Data Debugging, который позволяет выявлять и корректировать проблемы в данных до обучения модели. Это особенно важно для разработчиков ИИ-агентов, так как качество данных напрямую влияет на эффективность и надежность агентов. NVIDIA Technical Blog · ИИ-агенты и федеративное обучение NVIDIA FLARE Auto-FL ускоряет исследования федеративного обучения с помощью ИИ-агентов NVIDIA представила новую систему Auto-FL в рамках своего фреймворка Federated Learning and Analytics Research (FLARE). Эта система использует ИИ-агентов для автоматизации и ускорения исследований в области федеративного обучения (FL). Федеративное обучение позволяет обучать модели на распределённых данных без их централизации, что особенно важно для задач, связанных с конфиденциальностью и безопасностью данных.

← Все материалы