arXiv · 18.06.2026 ·Оценка и бенчмарки

CRAX: новый высокопроизводительный бенчмарк для безопасного обучения с подкреплением

Исследователи представили CRAX — специализированный бенчмарк для оценки безопасности алгоритмов обучения с подкреплением (Reinforcement Learning, RL). Инструмент ориентирован на задачи, требующие высокой надежности, такие как промышленная робототехника и системы автономного вождения. Основная проблема существующих решений заключается в низкой скорости симуляции при работе с высокоточными 3D-физическими моделями, что замедляет процесс прототипирования и масштабных экспериментов.

CRAX оптимизирует вычислительные затраты, позволяя проводить тестирование алгоритмов с ограничениями (Constrained RL) значительно быстрее аналогов. Это достигается за счет более эффективной архитектуры среды, которая сохраняет физическую достоверность, но снижает нагрузку на аппаратное обеспечение. Такой подход дает возможность исследователям быстрее проверять гипотезы о поведении агентов в критических сценариях, где цена ошибки в реальном мире слишком высока.

Внедрение подобных инструментов критически важно для перехода от лабораторных тестов к внедрению автономных систем в реальные условия. Ускорение цикла итераций при разработке безопасных моделей позволяет быстрее выявлять уязвимости в логике принятия решений агентами и повышать общую устойчивость систем к нештатным ситуациям. Бенчмарк уже доступен для использования в академических и прикладных исследованиях, направленных на повышение безопасности ИИ-решений.

Источник: arXiv

Похожие материалы

Hugging Face - Blog · Оценка и бенчмарки VAKRA: новый бенчмарк для тестирования ИИ-агентов Исследователи из IBM Research представили VAKRA — новый бенчмарк для оценки способностей ИИ-агентов к логическому мышлению, использованию инструментов и обработке ошибок. В отличие от существующих тестов, VAKRA фокусируется на комплексных сценариях, требующих от агентов не только генерации текста, но и выполнения последовательных действий с анализом промежуточных результатов. Hacker News · Безопасность и алайнмент OpenAI представила подходы к обучению моделей с долгосрочной пользой OpenAI опубликовала исследование, посвященное методам обучения с подкреплением (RL), направленным на создание моделей, чье поведение остается полезным и безопасным в долгосрочной перспективе. Основной фокус работы смещен с краткосрочного выполнения задач на формирование устойчивых паттернов поведения, которые приносят пользу пользователю на протяжении длительного взаимодействия. arXiv · Безопасность и алайнмент Динамический анализ жизненного цикла для защиты ML-моделей Исследователи представили новый подход к обеспечению безопасности машинного обучения, направленный на выявление вредоносного кода, скрытого внутри весов и архитектур предобученных моделей. Традиционные методы защиты, основанные на статическом анализе форматов файлов и поиске известных сигнатур атак, часто оказываются неэффективными против современных угроз, способных обходить стандартные фильтры. arXiv · Память и RAG Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. arXiv · Машинное обучение Модельно-ориентированный подход к созданию сред для обучения с подкреплением Исследователи представили новый подход к разработке виртуальных сред, предназначенных для обучения агентов с подкреплением (RL). Традиционно создание таких систем требует значительных затрат времени, так как для успешной сходимости алгоритмов агентам необходимо тренироваться в множестве схожих, но вариативных условий. Авторы работы предлагают использовать модельно-ориентированную методологию, которая позволяет автоматизировать генерацию семейств сред, сохраняя при этом их функциональную близость. arXiv · Машинное обучение Giskard: новый метод безопасного децентрализованного обучения моделей Исследователи представили Giskard — протокол для децентрализованного машинного обучения, который решает проблему одновременного обеспечения конфиденциальности данных и защиты от вредоносных узлов. В распределенных системах клиенты обучают модели локально, обмениваясь параметрами или градиентами с соседями. Традиционные подходы часто сталкиваются с конфликтом: методы защиты приватности, такие как дифференциальная приватность или шифрование, затрудняют выявление «византийских» атак, при которых участники сети намеренно передают искаженные данные для саботажа обучения. The Decoder · ИИ в бизнесе Nvidia и университеты США обучили роботов навыкам захвата через ИИ-агентов Исследователи из Nvidia, Университета Карнеги — Меллона и Калифорнийского университета в Беркли представили метод обучения робототехники с помощью автономных ИИ-агентов. Система использует возможности генеративного кода для самостоятельной корректировки движений роботов в реальных условиях. Вместо классического программирования каждого действия, агенты анализируют неудачные попытки и автоматически переписывают алгоритмы управления, чтобы повысить точность выполнения сложных манипуляций. arXiv · ИИ в бизнесе Новый фреймворк VERITAS для обучения роботов на основе визуальной проверки Исследователи предложили новый подход к обучению роботов, который позволяет им улучшать свои навыки в реальном времени. В статье на arXiv представлен фреймворк VERITAS, сочетающий генератор и верификатор для корректировки политик роботов и их самостоятельного улучшения. arXiv · Безопасность и алайнмент Shield Synthesis как инструмент проектирования безопасных ИИ-агентов Исследователи из arXiv предлагают новый взгляд на shielded reinforcement learning (SRL), традиционно рассматриваемый как механизм обеспечения безопасности во время выполнения. Авторы утверждают, что автомато-теоретические методы, используемые в SRL, могут быть более полезны на этапе проектирования агентов. Hacker News · Машинное обучение Новый подход к законам масштабирования может изменить обучение ИИ-моделей Исследователи из Стэнфордского университета предложили новый подход к законам масштабирования, который может существенно повлиять на процесс обучения искусственных нейронных сетей. Традиционные законы масштабирования описывают, как увеличение размера модели и объёма данных влияет на её производительность. Однако новый метод позволяет более точно предсказывать, как изменения в архитектуре модели и данных повлияют на её точность и эффективность.

← Все материалы