arXiv · 17.06.2026 ·Машинное обучение

Укрепление киберфизических систем с помощью обучения с подкреплением

Исследователи проанализировали эффективность контроллеров на базе обучения с подкреплением (Reinforcement Learning, RL) в нелинейных системах, подверженных внешним кибератакам. В работе рассматриваются сценарии с внедрением ложных данных и атаками типа «отказ в обслуживании» (DoS), которые представляют серьезную угрозу для критической инфраструктуры и автоматизированных производственных процессов.

В рамках эксперимента сравнивались четыре типа функций вознаграждения для RL-агентов, оцениваемых по критериям точности управления, вычислительных затрат и устойчивости к внешнему воздействию. Результаты показали, что использование функции вознаграждения на основе функции Ляпунова обеспечивает наилучшую устойчивость системы при минимальной ошибке отслеживания заданных параметров. Также продемонстрирована эффективность экспоненциального режима, который позволяет достичь приемлемого баланса между стабильностью работы и защищенностью от атак.

Данное исследование подчеркивает потенциал методов обучения с подкреплением в создании самовосстанавливающихся систем управления. Полученные выводы позволяют оптимизировать архитектуру контроллеров для работы в условиях нестабильной среды, где традиционные алгоритмы управления могут оказаться уязвимыми перед целенаправленным искажением входных сигналов.

Источник: arXiv

Похожие материалы

arXiv · ИИ в бизнесе Оптимизация зарядки электромобилей с помощью обучения с подкреплением Исследователи представили новый подход к управлению зарядкой электромобилей, основанный на обучении с подкреплением (Reinforcement Learning). Метод решает проблему нестабильности энергосетей, возникающую из-за резкого роста числа электрокаров и пиковых нагрузок. Главная сложность, которую удалось преодолеть — отсутствие точных данных о времени отъезда автомобиля, что является критическим фактором для планирования энергопотребления. arXiv · Безопасность и алайнмент Динамический анализ жизненного цикла для защиты ML-моделей Исследователи представили новый подход к обеспечению безопасности машинного обучения, направленный на выявление вредоносного кода, скрытого внутри весов и архитектур предобученных моделей. Традиционные методы защиты, основанные на статическом анализе форматов файлов и поиске известных сигнатур атак, часто оказываются неэффективными против современных угроз, способных обходить стандартные фильтры. arXiv · Память и RAG Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Машинное обучение Новый подход к метаобучению в reinforcement learning Исследователи предложили новый фреймворк для метаобучения в reinforcement learning (RL), который улучшает адаптацию агентов к новым задачам. В традиционных методах метаобучения RL задача распознавания и управление телом агента часто связаны, что усложняет извлечение общих знаний и снижает эффективность обучения. arXiv · Обучение и дообучение Новый метод для эффективного онлайн-обучения визуально-языковых агентов Исследователи предложили новый подход к онлайн-обучению визуально-языковых агентов (VLA) с использованием методов reinforcement learning (RL). В статье, опубликованной на arXiv, они описывают метод Hierarchical Advantage Weighting (HAW), который решает проблему редких и неинформативных сигналов обратной связи в процессе обучения. arXiv · Машинное обучение Новый метод обучения с подкреплением на основе предпочтений UBP2 Исследователи представили алгоритм UBP2 (Uncertainty-Balanced Preference Planning), направленный на повышение эффективности обучения с подкреплением на основе предпочтений (Preference-based RL). Традиционные подходы в этой области часто зависят от пассивного сбора данных, что приводит к низкой скорости обучения, особенно на начальных этапах, когда системе не хватает информации о предпочтениях пользователя. arXiv · Машинное обучение Алгоритм Pareto Q-Learning для многокритериального обучения с подкреплением Исследователи представили новый алгоритм Pareto Q-Learning with Reward Machines (PQLRM), предназначенный для решения задач обучения с подкреплением в условиях сложной структуры вознаграждений. Метод объединяет принципы Pareto Q-Learning, позволяющие аппроксимировать фронт Парето для векторных оценок Q-функций, с возможностями Reward Machines, которые позволяют декомпозировать задачи на основе формальных спецификаций. arXiv · Безопасность и алайнмент Shield Synthesis как инструмент проектирования безопасных ИИ-агентов Исследователи из arXiv предлагают новый взгляд на shielded reinforcement learning (SRL), традиционно рассматриваемый как механизм обеспечения безопасности во время выполнения. Авторы утверждают, что автомато-теоретические методы, используемые в SRL, могут быть более полезны на этапе проектирования агентов. arXiv · Машинное обучение Встраиваемый ИИ для микроконтроллеров: от данных до развёртывания Исследователи представили системный обзор встраиваемого машинного обучения для устройств класса микроконтроллеров. В отличие от облачных сервисов, такие системы работают с ограниченными ресурсами: памятью, энергией и задержками. Авторы детализируют ключевые этапы — от сбора и предобработки данных до развёртывания моделей и оценки их работы.

← Все материалы