Компания Perplexity AI выпустила WANDR — открытый набор данных и инструмент для тестирования исследовательских ИИ-агентов. Бенчмарк включает 500 сложных задач, требующих глубокого поиска и подтверждения информации. Основная цель — проверить способность агентов находить множество релевантных сущностей и подкреплять каждый факт проверяемыми источниками, что критически важно для автоматизации аналитической работы и сбора данных.
В отличие от стандартных тестов на ответы по базе знаний, WANDR фокусируется на «широком и глубоком» поиске. Агенты должны не просто синтезировать ответ, а проводить многоступенчатый поиск, чтобы собрать исчерпывающий список доказательств. Это позволяет оценить качество работы систем, которые занимаются сложным поиском информации, требующим верификации данных из нескольких независимых источников.
На текущий момент лидером рейтинга является собственная разработка Perplexity Search as Code. Результаты показывают, что даже передовые модели сталкиваются с трудностями при выполнении многоэтапных исследовательских задач, где требуется высокая точность цитирования и полнота охвата. Инструментарий WANDR доступен для исследователей и разработчиков, стремящихся улучшить агентные системы в задачах, связанных с поиском и анализом фактов.
Ключевые факты
- WANDR содержит 500 задач, требующих поиска доказательств и верификации данных.
- Тест оценивает способность агентов находить множество сущностей и подтверждать их ссылками на источники.
- Perplexity Search as Code показал результат 0.363 по метрике soft F1 и 0.133 по hard F1.
- Бенчмарк ориентирован на оценку исследовательских агентов, работающих в режиме «wide and deep» (широкий и глубокий поиск).