VetoBench — это специализированный бенчмарк, предназначенный для оценки того, как ИИ-агенты управляют памятью и контекстом в долгосрочных задачах. В отличие от традиционных RAG-систем, которые фокусируются на поиске информации, VetoBench тестирует способность модели удерживать, обновлять и использовать накопленные данные для принятия последовательных решений в динамических сценариях, выходя за рамки простого извлечения документов из базы.
Современные системы часто ограничиваются проверкой точности поиска, однако для полноценных агентов критически важно уметь работать с состоянием. VetoBench предлагает набор тестов, имитирующих реальные рабочие процессы, где агенту необходимо не просто найти ответ, а продемонстрировать понимание контекста, накопленного за множество шагов взаимодействия. Это позволяет разработчикам точнее измерять эффективность архитектур памяти.
Инструмент ориентирован на оценку сложных агентных систем, где память является ключевым компонентом инфраструктуры. Использование бенчмарка помогает выявить «галлюцинации» или потерю данных, возникающие при длительных сессиях, когда модель должна сопоставлять текущие действия с историей прошлых событий. Это важный шаг к стандартизации оценки агентных способностей в задачах, требующих высокой когнитивной нагрузки.
Ключевые факты
- VetoBench фокусируется на оценке памяти агентов, выходя за рамки стандартных метрик RAG-систем.
- Бенчмарк тестирует способность моделей к удержанию и обновлению состояния в многошаговых процессах.
- Инструмент помогает выявлять ошибки в управлении контекстом, которые критичны для автономной работы агентов.
- Проект доступен в виде открытого пакета для интеграции в пайплайны тестирования агентных систем.