Представлен Wandr — специализированный бенчмарк для оценки способности ИИ-агентов проводить глубокие и многоэтапные исследования. В отличие от стандартных тестов, Wandr фокусируется на задачах, требующих широкого поиска информации, анализа разрозненных источников и синтеза ответов на сложные вопросы, где агент должен самостоятельно планировать стратегию поиска и корректировать её в зависимости от промежуточных результатов.
Современные LLM часто справляются с простыми запросами, но теряют эффективность при необходимости глубокого погружения в тему. Wandr имитирует реальные сценарии работы исследователя, оценивая не только точность финального ответа, но и качество процесса поиска, релевантность выбранных источников и способность агента избегать галлюцинаций при работе с большим объемом данных. Это позволяет разработчикам точнее измерять прогресс в создании автономных систем, способных к сложной аналитической работе.
Бенчмарк включает в себя набор сценариев, требующих от модели выполнения нескольких итераций поиска. Агент должен не просто извлечь данные, но и критически оценить их достоверность, что является критическим фактором для автоматизации аналитических процессов в бизнесе и науке. Использование Wandr помогает выявить слабые места в архитектуре агентов, связанных с планированием и управлением контекстом при работе с внешними поисковыми системами.
Ключевые факты
- Wandr оценивает способность агентов к «широкому и глубокому» поиску, имитируя работу профессионального исследователя.
- Тест фокусируется на многошаговых задачах, где агент должен самостоятельно принимать решения о следующих шагах поиска на основе полученных данных.
- Бенчмарк помогает измерять эффективность моделей в синтезе информации из множества источников и минимизации галлюцинаций.
- Методология ориентирована на проверку навыков автономного планирования и критического анализа данных в реальных поисковых сценариях.