Исследователи проанализировали влияние автономных ИИ-агентов на сферу наступательной кибербезопасности. В отличие от традиционных инструментов для тестирования на проникновение, агентные системы обладают высокой степенью неопределенности в действиях, что затрудняет их аудит и контроль. Авторы работы выделяют три ключевых измерения непредсказуемости, которые требуют пересмотра существующих этических норм и подходов к безопасности при разработке подобных систем.

Основная проблема заключается в том, что действия агентов определяются недетерминированными политиками, результаты которых сложно интерпретировать как до, так и после выполнения задачи. Это создает серьезные вызовы для специалистов по безопасности, так как стандартные методы верификации кода не применимы к динамически генерируемым последовательностям команд. Агенты способны самостоятельно принимать решения, которые выходят за рамки заданных сценариев, что повышает риск непреднамеренного ущерба инфраструктуре.

В документе подчеркивается, что текущие фреймворки для оценки безопасности ИИ не учитывают специфику автономного поиска уязвимостей. Исследователи призывают к созданию новых протоколов «безопасного исполнения», которые могли бы ограничивать действия агентов в реальном времени. Без внедрения механизмов прозрачности и контролируемости такие инструменты могут стать источником непредсказуемых угроз, даже если они используются в легитимных целях тестирования систем защиты.

Ключевые факты

  • Автономные агенты в кибербезопасности характеризуются недетерминированностью действий, что делает их поведение труднопредсказуемым для операторов.
  • Выделены три независимых измерения неопределенности: отсутствие объяснимости политики, непредсказуемость выходных данных и динамическая адаптация к среде.
  • Традиционные инструменты пентестинга работают по жестким алгоритмам, в то время как ИИ-агенты способны самостоятельно менять тактику в процессе атаки.
  • Необходима разработка новых стандартов этики и контроля, так как существующие методы аудита не позволяют эффективно отслеживать логику принятия решений агентами.