arXiv · 14.06.2026 ·Защита ИИ-моделей

Knowledge Trap защищает модели от кражи знаний через ловушки

Исследователи из MIT и других университетов предложили новый способ защиты языковых моделей от кражи знаний. В статье, опубликованной на arXiv, они описывают метод Knowledge Trap, который использует "медовые ловушки" для знаний (Honeypot Knowledge Graph, HKG) и хлебные крошки для направления атак на нерелевантные данные.

Проблема в том, что коммерческие API языковых моделей уязвимы к атакам на извлечение знаний. Существующие методы защиты либо действуют слишком поздно, либо ухудшают качество работы для легитимных пользователей. Knowledge Trap предлагает альтернативу: вместо блокировки атак, он перенаправляет их на знания, которые сложно перенести в другие модели.

Механизм работает через HKG, который содержит ложные или низкоценные данные. Атакующие, пытаясь извлечь знания, попадают в эти ловушки, а хлебные крошки (breadcrumb-guided exploration) направляют их дальше по ложному следу. Это позволяет защитить основную модель без ущерба для легитимных пользователей.

Для разработчиков ИИ-агентов, таких как Jarv, это важно, потому что защита моделей от кражи знаний критична для безопасности и устойчивости сервисов. Knowledge Trap предлагает эффективный способ минимизировать риски без потери функциональности.

Источник: arXiv

Похожие материалы

arXiv · Проблемы каузального рассуждения в ИИ-агентах Исследование: как языковые модели теряют логику при замене переменных Учёные из MIT и других институтов обнаружили любопытный феномен в языковых моделях: при замене переменных в задачах на каузальное рассуждение на нейтральные маркеры (например, «X» вместо «Джон») модели начинают давать разные ответы, хотя структура вопроса и правильный ответ остаются неизменными. Это указывает на то, что модели либо теряют часть информации при такой замене, либо не могут корректно интерпретировать сохранённую информацию. arXiv · Безопасность и защита ИИ-агентов GAS-Leak-LLM: генетический алгоритм для взлома LLM Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам. Hacker News · Знание и долг Почему ИИ-агентам нужен аналог технического долга В разработке ПО давно существует понятие «технического долга» — накопление проблем, которые нужно исправить, но откладываются на потом. Автор статьи предлагает аналогичный подход для «знания» — концепцию «knowledge debt». Это особенно актуально для ИИ-агентов, которые работают с огромными объёмами данных и моделей. arXiv · ИИ-агенты и память Новый подход к редактированию знаний в ИИ-агентах Исследователи из MIT и Университета Карнеги-Меллона представили новый метод редактирования знаний в ИИ-моделях, который позволяет обновлять конкретные факты, не затрагивая близлежащие, но нерелевантные данные. В статье, опубликованной на arXiv, авторы предлагают использовать память, которая извлекается во время инференса, и адаптеры для коррекции предпочтений модели. Hacker News · Безопасность ИИ Почему идеальной защиты от джейлбрейков LLM не существует Исследователи из MIT и других университетов опубликовали работу, в которой доказывают невозможность создания идеальной защиты от джейлбрейков для больших языковых моделей (LLM). Авторы обобщают существующие методы защиты и показывают, что ни один из них не может гарантировать абсолютную безопасность. Hacker News · Безопасность ИИ-агентов Исследование: как пользовательский контент может отравить ИИ-агентов Исследователи из MIT и Университета Карнеги-Меллона опубликовали работу, в которой показано, как пользовательский контент может «отравить» ИИ-агентов, особенно тех, которые работают с глубокими исследованиями. В статье рассматриваются сценарии, в которых злоумышленники могут встраивать вредоносные данные в пользовательские запросы, что приводит к искажению работы агентов. arXiv · Защита ИИ-агентов от вредоносных данных InstantForget удаляет вредоносные данные без переобучения модели Исследователи из MIT и других университетов представили метод InstantForget, который позволяет удалять вредоносные данные (backdoors) из обученных моделей без переобучения. Это особенно важно для ИИ-агентов, которые могут сталкиваться с подозрительными или вредоносными данными в процессе работы. arXiv · Диагностика ошибок в LLM Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Управление контекстом в ИИ-агентах KVEraser: метод для точного удаления контекста из кэша KV Исследователи из MIT и Google Research представили метод KVEraser, который решает проблему точного удаления контекста из кэша ключ-значение (KV) в больших языковых моделях. Проблема заключается в том, что при удалении части контекста его влияние распространяется на все последующие токены, что делает локальные правки сложными. Simon Willison's Weblog · Безопасность ИИ-агентов OpenAI запускает Lockdown Mode для защиты от утечек данных OpenAI представила новый режим Lockdown Mode, который направлен на предотвращение утечек данных в случае атак через инъекции в запросы. Этот режим ограничивает исходящие сетевые запросы, что помогает предотвратить передачу конфиденциальной информации. Lockdown Mode уже доступен для личных аккаунтов, включая бесплатные, Go, Plus и Pro, а также для бизнес-аккаунтов ChatGPT в режиме self-serve.

← Все материалы