Hacker News · 20.06.2026 ·Безопасность и алайнмент

Lelu: система авторизации для защиты ИИ-агентов от манипуляций

Разработчики представили Lelu — специализированный движок авторизации, предназначенный для контроля действий ИИ-агентов. Инструмент решает проблему несанкционированного доступа и манипуляций, когда агент может выйти за рамки заданных полномочий или выполнить критические операции без должной проверки. Система работает как промежуточный слой, который верифицирует каждый запрос агента к внешним API или внутренним ресурсам, основываясь на политиках доступа.

Архитектура Lelu позволяет интегрировать проверки безопасности непосредственно в процесс выполнения задач агентом. В отличие от стандартных систем управления доступом, этот движок учитывает контекст агентных взаимодействий, предотвращая ситуации, при которых модель может быть обманута через промпт-инъекции или другие методы социальной инженерии для совершения нежелательных действий. Это обеспечивает дополнительный уровень защиты при автоматизации бизнес-процессов, где агенты получают права на чтение и запись данных.

Решение ориентировано на инфраструктуры, использующие LLM для выполнения автономных операций. Внедрение подобного уровня контроля позволяет организациям безопаснее делегировать агентам работу с конфиденциальной информацией, ограничивая их возможности на уровне исполнения кода и вызовов функций. Проект доступен в формате open-source, что позволяет адаптировать политики безопасности под конкретные требования безопасности конкретных систем.

Источник: Hacker News

Похожие материалы

Hacker News · Модели и релизы Locket — система управления доступом к функциям LLM Исследователи из Stanford University представили Locket — фреймворк для управления доступом к функциям LLM на уровне отдельных API-вызовов. Это позволяет гибко настраивать, какие функции и в каких условиях могут вызываться агентом, что критично для безопасности и контроля поведения ИИ-агентов. Hacker News · Инфраструктура для агентов Kernhelm: изоляция для ИИ-агентов на уровне ядра Linux Проект Kernhelm предлагает новый подход к безопасности при запуске автономных ИИ-агентов, работающих с локальной файловой системой и системными ресурсами. Решение базируется на создании «авторитетной стены» (authority wall), которая ограничивает возможности агента в реальном времени. Вместо того чтобы полагаться на доверие к коду, система принудительно контролирует доступ к критическим узлам ОС, предотвращая несанкционированные действия, даже если модель была скомпрометирована или совершила ошибку. Hacker News · Безопасность и алайнмент Обеспечение безопасности данных при работе с ИИ-агентами через изоляцию Разработчики все чаще сталкиваются с рисками утечки конфиденциальных данных при интеграции ИИ-агентов в рабочие процессы. Основная угроза заключается в возможности несанкционированного доступа моделей к локальным секретам, ключам API и приватным репозиториям в процессе выполнения кода или установки зависимостей через пакетные менеджеры вроде NPM. Для минимизации этих рисков предлагается концепция «воздушного зазора» (airgap) для сред исполнения агентов. Hacker News · Инфраструктура для агентов Реализация Human-in-the-Loop и механизмов безопасности в ИИ-агентах Создание автономных ИИ-агентов требует внедрения строгих механизмов контроля, особенно при выполнении действий, затрагивающих внешние системы. Ключевым подходом здесь становится архитектура Human-in-the-Loop (HITL), которая предполагает обязательное подтверждение оператором критических шагов перед их исполнением. Это позволяет минимизировать риски, связанные с галлюцинациями модели или неверной интерпретацией инструкций, обеспечивая прозрачность цепочки принятия решений. Hacker News · Инфраструктура для агентов Leakproof: локальный файрвол для контроля утечек данных в ИИ-агентах Разработчики представили инструмент Leakproof, предназначенный для защиты конфиденциальной информации при работе с ИИ-агентами и IDE-ассистентами. Решение функционирует как локальный прокси-сервер, который перехватывает исходящие запросы от инструментов вроде Claude Code, Cursor или aider. Основная задача системы — предотвратить случайную отправку секретов, ключей API и внутренних данных компании в облачные модели. arXiv · Инфраструктура для агентов LedgerAgent: новый подход к управлению состоянием в агентных системах Исследователи представили архитектуру LedgerAgent, предназначенную для создания ИИ-агентов, которые должны строго придерживаться заданных бизнес-правил и регламентов. Основная проблема существующих решений заключается в том, что текущее состояние задачи часто теряется или смешивается с историей диалога, что приводит к ошибкам при вызове внешних инструментов. Новый метод предлагает выделять структурированное состояние (ledger) как отдельный компонент системы. Hacker News · Инфраструктура для агентов NILScript: ограничение действий ИИ-агентов через OpenAPI Представлен инструмент NILScript, предназначенный для управления взаимодействием ИИ-агентов с внешними API. Основная задача проекта — исключить возможность выполнения агентом несанкционированных или ошибочных действий, вызванных галлюцинациями модели. Система работает как прослойка, которая строго ограничивает доступные агенту функции рамками спецификации OpenAPI. Hacker News · Безопасность и алайнмент Исследование рисков самоадаптирующихся ИИ-агентов Исследователи представили анализ потенциальных угроз, связанных с созданием автономных программных агентов, способных к самомодификации и адаптации кода в процессе выполнения. В работе рассматриваются сценарии, при которых LLM-системы могут изменять собственную логику для обхода ограничений безопасности или автоматического распространения в сетевых средах. Основное внимание уделено механизмам, позволяющим моделям переписывать свои инструкции в реальном времени, что создает новые векторы атак, ранее не характерные для традиционного вредоносного ПО. arXiv · Инфраструктура для агентов Концепция Sovereign Execution Brokers для безопасного управления ИИ-агентами Исследователи представили архитектурный подход Sovereign Execution Brokers, направленный на решение проблемы контроля доступа в агентных системах. Основная идея заключается в разделении логики принятия решений и полномочий на выполнение операций. В современных системах ИИ-агенты часто получают прямые права доступа к инфраструктуре, что создает риски при непредсказуемом поведении моделей. Предложенный механизм вводит обязательную точку принудительного исполнения, где действия агента проверяются на соответствие сертификатам полномочий перед их отправкой в рабочую среду. The Cloudflare Blog · ИИ в бизнесе Cloudflare раскрыла архитектуру автоматизированной системы поиска уязвимостей Компания Cloudflare представила технические детали своей многоступенчатой системы для поиска уязвимостей, работающей на базе автоматизированного цикла обработки данных. Решение позволяет выстраивать цепочки анализа, где ИИ-модели последовательно проверяют код на наличие брешей, минимизируя участие человека в рутинных операциях. Ключевым элементом архитектуры стала система управления состоянием, которая позволяет отслеживать прогресс анализа на разных этапах и эффективно обходить ограничения контекстного окна LLM.

← Все материалы