Команда Neat Context поделилась опытом внедрения и последующего отказа от автоматизированного SRE-агента. Несмотря на обещания высокой автономности, инструмент столкнулся с критическими проблемами в интерпретации контекста инцидентов и управлении сложными зависимостями в инфраструктуре. В результате компания вернулась к гибридной модели работы, где ИИ выполняет лишь вспомогательные функции по анализу логов, а не принятию решений.
Основная сложность заключалась в «галлюцинациях» агента при диагностике нетривиальных сбоев. Система часто предлагала стандартные решения, которые не учитывали специфические конфигурации сервисов, что приводило к увеличению времени восстановления (MTTR) вместо его сокращения. Кроме того, высокая стоимость токенов при постоянном мониторинге инфраструктуры не оправдывала себя, так как агент требовал постоянного контроля со стороны инженеров.
Кейс демонстрирует ограничения современных агентных систем в задачах, требующих глубокого понимания архитектуры и высокого уровня ответственности. Вместо полной автоматизации компания перешла к использованию ИИ как инструмента для суммаризации данных, что позволило инженерам быстрее принимать решения самостоятельно, исключив риск неверных автоматических действий.
Ключевые факты
- ИИ-агент был внедрен для автоматизации реагирования на инциденты и первичной диагностики сбоев.
- Основной причиной отказа стала неспособность агента корректно обрабатывать сложные зависимости в распределенных системах.
- Использование агента привело к росту времени восстановления (MTTR) из-за необходимости исправлять ошибки, допущенные ИИ.
- Компания пересмотрела стратегию, заменив автономного агента на инструменты для анализа логов и подготовки контекста для человека.
- Стоимость эксплуатации агентной системы оказалась выше ожидаемой при отсутствии значимого прироста производительности.