Hacker News · 03.08.2026 ·Разработка и инструменты

Argot: инструмент для контроля безопасности ИИ через анализ AST кода

Argot — это инструмент на языке Rust, предназначенный для обеспечения безопасности ИИ-систем путем анализа абстрактных синтаксических деревьев (AST) в кодовой базе. Решение позволяет разработчикам задавать строгие правила и ограничения, которые ИИ-агенты должны соблюдать при генерации или модификации кода, предотвращая выполнение небезопасных паттернов и логические ошибки в проектах.

В отличие от традиционных систем фильтрации, работающих на уровне текстовых промптов, Argot интегрируется непосредственно в процесс разработки. Анализируя структуру кода, инструмент гарантирует, что любые изменения, предлагаемые языковыми моделями, соответствуют заданным архитектурным стандартам и требованиям безопасности. Это снижает риск внедрения уязвимостей, которые могут быть пропущены при обычном текстовом анализе.

Использование AST позволяет системе понимать семантику кода, а не просто искать ключевые слова. Разработчики могут определять запрещенные конструкции или обязательные шаблоны проектирования, которые будут проверяться автоматически. Такой подход превращает процесс контроля ИИ в часть CI/CD пайплайна, обеспечивая предсказуемость поведения агентов в сложных программных средах.

Ключевые факты

Инструмент написан на языке программирования Rust для обеспечения высокой производительности и безопасности памяти.
Механизм работы основан на анализе абстрактных синтаксических деревьев (AST) для глубокого понимания структуры кода.
Argot позволяет задавать кастомные правила безопасности, которые ИИ-модели должны учитывать при генерации кода.
Решение ориентировано на предотвращение выполнения небезопасных паттернов, которые могут привести к уязвимостям в приложении.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Безопасность и алайнмент AST-guard: защита от взлома функций вознаграждения в обучении с подкреплением AST-guard — это новый инструмент для защиты моделей обучения с подкреплением (RL) от манипуляций с функциями вознаграждения (reward hacking). Решение анализирует абстрактное синтаксическое дерево (AST) кода, который генерирует агент, предотвращая выполнение небезопасных или нецелевых действий. Метод устойчив к градиентным атакам, что делает его эффективным инструментом для обеспечения безопасности агентных систем. Hacker News · Безопасность и алайнмент ASL V6: инструмент для тестирования безопасности Python-агентов через AST Представлен ASL V6 — open-source инструмент для red-teaming тестирования Python-агентов. Решение анализирует абстрактные синтаксические деревья (AST) кода, который генерирует или исполняет агент, чтобы выявить уязвимости и потенциально опасные паттерны до того, как они будут выполнены. Это позволяет автоматизировать проверку безопасности агентных систем на этапе разработки и исполнения. arXiv · Машинное обучение ARCTIC: новая система для автоматизированного анализа ИИ-кода Исследователи представили ARCTIC — систему для критического анализа кода, создаваемого ИИ-агентами. В отличие от стандартных инструментов, фокусирующихся на стиле, ARCTIC оценивает корректность, безопасность и производительность изменений. Система помогает масштабировать процесс ревью, отсеивая низкоуровневые правки и позволяя разработчикам сосредоточиться на архитектурных и логических аспектах, что критически важно при массовой генерации кода нейросетями. Hacker News · Инфраструктура для агентов Argus: система записи и анализа сессий Claude Code для команд Argus представляет собой платформу для мониторинга и контроля работы ИИ-агентов, использующих Claude Code. Инструмент позволяет командам записывать, воспроизводить и проводить аудит каждой сессии взаимодействия с кодом. Это решение закрывает потребность в прозрачности агентных процессов, обеспечивая возможность отладки, контроля качества и анализа действий ИИ при выполнении задач разработки в реальном времени. Hacker News · Инфраструктура для агентов Представлен Dirge: агент для написания кода на Rust с поддержкой памяти Разработчики представили Dirge — специализированного ИИ-агента, предназначенного для автоматизации написания кода на языке Rust. Инструмент ориентирован на решение задач разработки через систему интеллектуального управления и контекстной памяти, что позволяет агенту удерживать структуру проекта и учитывать зависимости при генерации программных решений. Hacker News · Оркестрация агентов Архитектурные паттерны для разработки надежного ПО с использованием ИИ-агентов Разработка программного обеспечения с помощью ИИ-агентов требует перехода от модели «доверия» к модели «верификации». Основной подход заключается в создании систем, где агент выступает лишь в роли генератора гипотез или кода, а итоговая проверка, исполнение и контроль качества остаются за жестко заданными программными алгоритмами и автоматизированными тестами, исключающими слепое выполнение агентских инструкций. Hacker News · Безопасность и алайнмент Ограничения систем безопасности для предотвращения вредоносного поведения ИИ-агентов Разработчики ИИ-агентов сталкиваются с неэффективностью простых текстовых инструкций для предотвращения вредоносных действий. Исследование показывает, что системные промпты легко обходятся методами джейлбрейка, поэтому для защиты агентов необходимы многоуровневые программные «ограждения» (guardrails), контролирующие выполнение кода и доступ к внешним API на уровне инфраструктуры, а не только на уровне языковой модели. Hacker News · Оценка и бенчмарки Сравнение ИИ-агентов в задачах программирования на Rust Автор протестировал возможности современных ИИ-агентов в решении задачи на языке Rust, связанной с вычислением високосных лет. Эксперимент показал, как различные модели справляются с написанием корректного кода, обработкой краевых случаев и итеративной отладкой. Результаты демонстрируют текущий уровень автономности ИИ при работе со строгими типами данных и сложной логикой программирования. Hacker News · Оркестрация агентов Архитектура агентной системы с механизмом проверки кода Разработчики представили минималистичную архитектуру ИИ-агента для написания кода, состоящую всего из пяти файлов. Главная особенность системы — интеграция отдельного «скептика», который анализирует предложенные моделью исправления и выявляет потенциально нерабочие решения. Такой подход позволяет снизить количество галлюцинаций при генерации программного обеспечения и повысить надежность автоматизированного процесса разработки. Hacker News · Разработка и инструменты Методология повышения качества кода в ИИ-агентах Проект The Absolute Code предлагает систематизированный подход к улучшению генерации программного обеспечения с помощью ИИ-агентов. Авторы анализируют ключевые факторы, влияющие на качество кода, и предлагают архитектурные решения для минимизации ошибок, улучшения структуры и обеспечения соответствия стандартам разработки, что критически важно для автоматизации сложных инженерных задач в современных агентных системах.

← Все материалы