arXiv · 29.06.2026 ·Оркестрация агентов

Linguistic Firewall: новый метод защиты маршрутизации в мультиагентных системах

Исследователи представили «Лингвистический файрвол» (Linguistic Firewall) — метод защиты маршрутизации в мультиагентных системах, основанный на геометрическом анализе векторных представлений. Технология позволяет эффективно распределять задачи между специализированными агентами, минимизируя риски, связанные с использованием непроверенных прокси-серверов и уязвимостями в логике оркестрации, что критически важно для безопасности сложных рабочих процессов в ИИ-системах.

Современные мультиагентные системы часто полагаются на маршрутизаторы, которые используют косвенные признаки для выбора исполнителя, что создает векторы атак через манипуляцию входными данными. Предложенный подход переводит задачу маршрутизации в геометрическую плоскость, анализируя структуру латентного пространства моделей. Это позволяет системе выявлять аномальные запросы и предотвращать несанкционированную передачу управления агентам, которые не соответствуют заданному контексту или уровню доступа.

Метод обеспечивает более предсказуемое поведение системы при масштабировании, когда количество агентов и сложность цепочек вызовов возрастают. Использование геометрических ограничений выступает в роли фильтра, который отсекает вредоносные или ошибочные команды на этапе планирования, до того как они попадут в исполнительный контур. Это снижает вероятность «галлюцинаций» маршрутизатора и повышает общую надежность агентных рабочих процессов.

Ключевые факты

Метод Linguistic Firewall использует геометрические свойства векторных пространств для верификации маршрутов.
Система направлена на устранение зависимости от непроверенных прокси-серверов в архитектурах MAS.
Технология позволяет блокировать аномальные запросы на уровне оркестрации до их выполнения агентами.
Подход повышает устойчивость мультиагентных систем к манипуляциям, направленным на перехват управления или внедрение нежелательных инструкций.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Оркестрация агентов MAS-Lab: фреймворк для верификации надежности мультиагентных систем Исследователи представили MAS-Lab — фреймворк для проектирования и валидации мультиагентных систем (MAS) на основе спецификаций. Инструмент решает проблему непредсказуемого поведения агентов, предлагая декларативный подход к разработке. В отличие от традиционных императивных методов, MAS-Lab позволяет формально описывать требования к системе, обеспечивая её надежность и возможность масштабирования до промышленного уровня эксплуатации. Hacker News · Безопасность и алайнмент Ограничения систем безопасности для предотвращения вредоносного поведения ИИ-агентов Разработчики ИИ-агентов сталкиваются с неэффективностью простых текстовых инструкций для предотвращения вредоносных действий. Исследование показывает, что системные промпты легко обходятся методами джейлбрейка, поэтому для защиты агентов необходимы многоуровневые программные «ограждения» (guardrails), контролирующие выполнение кода и доступ к внешним API на уровне инфраструктуры, а не только на уровне языковой модели. arXiv · Безопасность и алайнмент MESA: фреймворк для приоритизации защиты каналов связи в мультиагентных системах Исследователи представили MESA — методологию для оценки и защиты уязвимых каналов связи в мультиагентных системах (MAS). Фреймворк помогает разработчикам распределять ограниченные ресурсы безопасности, выявляя критические точки взаимодействия между агентами до того, как произойдет реальная атака. Это решение направлено на минимизацию рисков в сложных распределенных рабочих процессах, где традиционные методы защиты часто оказываются неэффективными. Hacker News · Оркестрация агентов Архитектурные подходы к построению мультиагентных систем для сложных задач Мультиагентные системы (MAS) становятся ключевым подходом для решения задач, требующих декомпозиции и итеративного выполнения. В отличие от монолитных LLM-приложений, MAS распределяют роли между специализированными агентами, что позволяет повысить точность обработки сложных запросов, минимизировать галлюцинации и эффективно управлять контекстным окном за счет разделения ответственности между узлами системы. arXiv · Оркестрация агентов Новый подход к маршрутизации множества ИИ-агентов Исследователи из Университета Карнеги-Меллон представили новую работу, посвящённую компиляционным методам в задачах маршрутизации множества агентов (MAPF). В отличие от классических подходов, где все агенты должны достичь заданных целей без столкновений, авторы рассматривают варианты с разными требованиями к агентам. arXiv · Оркестрация агентов Новый подход к созданию омнимадальных агентов для автономной работы в физическом мире Исследователи представили архитектуру для создания омнимадальных агентов, способных объединять работу с цифровыми инструментами и физическое взаимодействие с окружением. Система решает проблему фрагментации навыков, интегрируя планирование на базе VLM с механизмами автономного восстановления после сбоев, что критически важно для долгосрочной работы агентов в неструктурированных бытовых и производственных условиях без постоянного вмешательства человека. arXiv · Безопасность и алайнмент Анализ защитных методов против автоматизированных атак на ИИ-агентов Исследователи представили анализ эффективности защитных стратегий против автоматизированных атак на агентные системы. Современные ИИ-агенты активно используют языковые модели для интерпретации инструкций, обработки внешних данных и взаимодействия с инструментами. Это расширяет поверхность атаки, позволяя злоумышленникам применять автоматизированные методы для масштабирования промпт-инъекций и подбора обходов ограничений безопасности. Hacker News · Инфраструктура для агентов Оптимизация инфраструктуры для масштабируемого запуска ИИ-агентов Команда GluonDB представила архитектурный подход к запуску масштабного парка ИИ-агентов на ограниченных вычислительных мощностях. Решение фокусируется на обеспечении безопасности и высокой плотности инференса, позволяя эффективно управлять множеством независимых агентных процессов без необходимости кратного увеличения затрат на облачную инфраструктуру. Основной упор сделан на изоляцию контекста и оптимизацию потребления ресурсов при работе с LLM. arXiv · Безопасность и алайнмент Верификация вероятностных политик безопасности для ИИ-агентов Исследователи представили новый метод верификации, позволяющий контролировать поведение ИИ-агентов в сложных цифровых средах с учетом вероятностных факторов. Ранее существующие системы мониторинга в реальном времени опирались на детерминированные политики, выраженные на языке Datalog, что ограничивало их применение в условиях неопределенности. Новый подход расширяет возможности формальной верификации, позволяя задавать правила безопасности для сценариев, где действия агента могут приводить к различным исходам с разной степенью вероятности. Hacker News · Инфраструктура для агентов Оптимизация стоимости и безопасности в агентных рабочих процессах Разработан новый подход к проектированию агентных систем, направленный на снижение затрат на инференс и повышение предсказуемости поведения моделей. Основная идея заключается в переходе от использования тяжелых LLM для выполнения всех этапов задачи к многоуровневой архитектуре, где сложные логические операции делегируются специализированным компактным моделям или жестко заданным алгоритмическим модулям.

← Все материалы