Исследователи проанализировали применимость фаззинг-тестирования для поиска уязвимостей в агентах с обучением с подкреплением (RL). В условиях критически важных систем, таких как беспилотный транспорт и робототехника, непредсказуемое поведение моделей несет высокие риски. Работа систематизирует существующие методы тестирования, выявляет их ограничения и предлагает подходы для более эффективного обнаружения сбоев в сложных средах.
Фаззинг традиционно используется для поиска ошибок в программном обеспечении, однако адаптация этого метода для RL-агентов сталкивается с проблемой огромного пространства состояний. Авторы статьи подчеркивают, что текущие инструменты часто не справляются с покрытием редких, но критических сценариев, которые могут привести к аварийным ситуациям. Исследование направлено на стандартизацию методов верификации, чтобы обеспечить предсказуемость работы агентов в реальных условиях эксплуатации.
Работа включает сравнительный анализ различных стратегий генерации входных данных и возмущений среды, которые провоцируют агентов на некорректные действия. Авторы предлагают метрики для оценки качества тестирования, позволяющие разработчикам лучше понимать границы надежности своих моделей до их внедрения в физические системы.
Ключевые факты
- Исследование сфокусировано на безопасности RL-агентов в робототехнике, беспилотном вождении и управлении дронами.
- Фаззинг-тестирование рассматривается как основной инструмент для исследования обширных пространств состояний и поиска скрытых сбоев.
- Работа систематизирует существующие методы тестирования и предлагает новые критерии для оценки их эффективности.
- Основная цель — минимизация рисков при развертывании ИИ-систем в критически важных инфраструктурных проектах.