Исследователи представили методологию оценки ИИ-агентов в сфере кибербезопасности, которая смещает фокус с чистого процента успеха на экономическую эффективность. В реальных операциях каждый шаг рассуждений, вызов инструментов и запрос к телеметрии расходуют бюджет. Авторы доказывают, что текущие бенчмарки, игнорирующие затраты на инференс, не отражают реальную пригодность моделей для промышленного использования в защите и нападении.
Традиционные тесты, такие как участие в CTF или разработка эксплойтов, часто проводятся в условиях неограниченных вычислительных ресурсов. Однако в корпоративной среде стоимость эксплуатации агента становится критическим фактором. Исследование вводит метрики «стоимостной эффективности», позволяющие сравнивать производительность моделей при ограниченном бюджете на токены и API-запросы, что критически важно для масштабируемых систем безопасности.
Авторы проанализировали, как различные стратегии рассуждений влияют на итоговые затраты. Выяснилось, что более сложные модели, демонстрирующие высокую точность, могут быть экономически нецелесообразными по сравнению с более простыми решениями, если их «стоимость за успех» оказывается непропорционально высокой. Это меняет подход к выбору архитектур для автоматизированного тестирования на проникновение и мониторинга угроз.
Ключевые факты
- Исследование фокусируется на переходе от оценки «пиковой эффективности» к «стоимостно-ориентированной оценке» (cost-aware evaluation).
- Основные учитываемые расходы включают: каждый шаг цепочки рассуждений (reasoning steps), вызовы внешних инструментов и запросы к системам телеметрии.
- Методология позволяет выявлять случаи, когда прирост точности модели не оправдывает кратное увеличение затрат на инференс.
- Работа подчеркивает разрыв между академическими бенчмарками и требованиями операционной безопасности, где бюджет на выполнение задачи жестко ограничен.