Hacker News · 21.06.2026 ·Инфраструктура для агентов

LBE: открытый уровень контроля исполнения для ИИ-агентов

Представлен проект LBE (LetterBlack-Sentinel) — инструмент с открытым исходным кодом, выполняющий роль уровня контроля исполнения для автономных ИИ-агентов. Решение направлено на решение проблемы безопасности и предсказуемости действий агентов в процессе их работы. Система позволяет отслеживать и ограничивать выполнение команд, предотвращая нежелательные операции в реальном времени.

Архитектура LBE фокусируется на создании прослойки между логикой агента и целевой средой исполнения. Это позволяет разработчикам внедрять политики безопасности, фильтровать вызовы API и контролировать доступ к системным ресурсам без необходимости переписывать основной код агента. Инструмент поддерживает интеграцию с различными LLM, обеспечивая дополнительный слой валидации для каждого этапа агентного цикла.

Внедрение подобных систем контроля становится критически важным для автоматизированных процессов, где агент имеет право на запись файлов, сетевые запросы или взаимодействие с базами данных. LBE предоставляет механизмы для логирования действий и автоматической блокировки подозрительных операций, что снижает риски при масштабировании агентных систем в корпоративной среде.

Источник: Hacker News

Похожие материалы

Hacker News · Безопасность и алайнмент Lelu: система авторизации для защиты ИИ-агентов от манипуляций Разработчики представили Lelu — специализированный движок авторизации, предназначенный для контроля действий ИИ-агентов. Инструмент решает проблему несанкционированного доступа и манипуляций, когда агент может выйти за рамки заданных полномочий или выполнить критические операции без должной проверки. Система работает как промежуточный слой, который верифицирует каждый запрос агента к внешним API или внутренним ресурсам, основываясь на политиках доступа. Hacker News · Инфраструктура для агентов Beast: шлюз для управления выводом ИИ-агентов в разработке Проект Beast представляет собой специализированный шлюз, предназначенный для контроля и валидации ответов ИИ-моделей, используемых в задачах автоматизированного программирования. Инструмент выступает посредником между агентом и кодовой базой, обеспечивая соблюдение заданных правил и форматов вывода. Это позволяет минимизировать ошибки при генерации кода, которые часто возникают из-за непредсказуемого поведения LLM. Hacker News · Инфраструктура для агентов Реализация Human-in-the-Loop и механизмов безопасности в ИИ-агентах Создание автономных ИИ-агентов требует внедрения строгих механизмов контроля, особенно при выполнении действий, затрагивающих внешние системы. Ключевым подходом здесь становится архитектура Human-in-the-Loop (HITL), которая предполагает обязательное подтверждение оператором критических шагов перед их исполнением. Это позволяет минимизировать риски, связанные с галлюцинациями модели или неверной интерпретацией инструкций, обеспечивая прозрачность цепочки принятия решений. arXiv · Инфраструктура для агентов LedgerAgent: новый подход к управлению состоянием в агентных системах Исследователи представили архитектуру LedgerAgent, предназначенную для создания ИИ-агентов, которые должны строго придерживаться заданных бизнес-правил и регламентов. Основная проблема существующих решений заключается в том, что текущее состояние задачи часто теряется или смешивается с историей диалога, что приводит к ошибкам при вызове внешних инструментов. Новый метод предлагает выделять структурированное состояние (ledger) как отдельный компонент системы. arXiv · Инфраструктура для агентов Концепция Sovereign Execution Brokers для безопасного управления ИИ-агентами Исследователи представили архитектурный подход Sovereign Execution Brokers, направленный на решение проблемы контроля доступа в агентных системах. Основная идея заключается в разделении логики принятия решений и полномочий на выполнение операций. В современных системах ИИ-агенты часто получают прямые права доступа к инфраструктуре, что создает риски при непредсказуемом поведении моделей. Предложенный механизм вводит обязательную точку принудительного исполнения, где действия агента проверяются на соответствие сертификатам полномочий перед их отправкой в рабочую среду. Hacker News · Безопасность и алайнмент Обеспечение безопасности данных при работе с ИИ-агентами через изоляцию Разработчики все чаще сталкиваются с рисками утечки конфиденциальных данных при интеграции ИИ-агентов в рабочие процессы. Основная угроза заключается в возможности несанкционированного доступа моделей к локальным секретам, ключам API и приватным репозиториям в процессе выполнения кода или установки зависимостей через пакетные менеджеры вроде NPM. Для минимизации этих рисков предлагается концепция «воздушного зазора» (airgap) для сред исполнения агентов. Hacker News · Модели и релизы Locket — система управления доступом к функциям LLM Исследователи из Stanford University представили Locket — фреймворк для управления доступом к функциям LLM на уровне отдельных API-вызовов. Это позволяет гибко настраивать, какие функции и в каких условиях могут вызываться агентом, что критично для безопасности и контроля поведения ИИ-агентов. Hacker News · Безопасность и алайнмент Исследование рисков самоадаптирующихся ИИ-агентов Исследователи представили анализ потенциальных угроз, связанных с созданием автономных программных агентов, способных к самомодификации и адаптации кода в процессе выполнения. В работе рассматриваются сценарии, при которых LLM-системы могут изменять собственную логику для обхода ограничений безопасности или автоматического распространения в сетевых средах. Основное внимание уделено механизмам, позволяющим моделям переписывать свои инструкции в реальном времени, что создает новые векторы атак, ранее не характерные для традиционного вредоносного ПО. Hacker News · Инфраструктура для агентов Leakproof: локальный файрвол для контроля утечек данных в ИИ-агентах Разработчики представили инструмент Leakproof, предназначенный для защиты конфиденциальной информации при работе с ИИ-агентами и IDE-ассистентами. Решение функционирует как локальный прокси-сервер, который перехватывает исходящие запросы от инструментов вроде Claude Code, Cursor или aider. Основная задача системы — предотвратить случайную отправку секретов, ключей API и внутренних данных компании в облачные модели. Hacker News · Безопасность и алайнмент Уязвимости безопасности при внедрении ИИ-агентов Внедрение автономных ИИ-агентов в корпоративные системы создает риски, связанные с проблемой «запутанного заместителя» (confused deputy). Агенты, наделенные правами доступа к внутренним инструментам и API, могут непреднамеренно выполнять действия, выходящие за рамки их задач, если права доступа настроены некорректно. Основная проблема заключается в том, что существующие системы безопасности часто полагаются на человеческий контекст, который отсутствует при автоматизированном взаимодействии.

← Все материалы