Исследователи представили Spider 2.0-AIFunc — первый бенчмарк для оценки способности LLM генерировать SQL-запросы, использующие встроенные функции ИИ. Современные облачные платформы позволяют выполнять классификацию, анализ тональности и поиск сходства прямо внутри SQL, однако традиционные тесты не учитывают этот функционал. Новый набор данных закрывает этот пробел, предоставляя инструменты для проверки моделей в реальных рабочих процессах.
Интеграция возможностей ИИ непосредственно в SQL-запросы становится стандартом для крупных аналитических систем. Это позволяет выполнять сложные операции над данными без выгрузки во внешние сервисы, что значительно ускоряет пайплайны обработки. Однако генерация таких запросов требует от моделей понимания специфического синтаксиса и логики вызова функций, которые отсутствуют в классических задачах Text-to-SQL.
Бенчмарк Spider 2.0-AIFunc включает задачи, имитирующие реальные сценарии использования ИИ в аналитике данных. Он оценивает, насколько точно модели могут комбинировать стандартные SQL-операторы с вызовами LLM-функций для решения задач классификации, извлечения сущностей и семантического поиска. Это позволяет разработчикам точнее выбирать модели для автоматизации аналитических SQL-воркфлоу.
Ключевые факты
- Бенчмарк сфокусирован на оценке генерации SQL-запросов с использованием нативных функций ИИ (AI-native SQL).
- Включает задачи по классификации, фильтрации, анализу тональности, извлечению данных и семантическому поиску.
- Решает проблему отсутствия метрик для оценки современных облачных аналитических платформ, поддерживающих LLM-интеграцию.
- Позволяет тестировать модели на способность корректно сочетать традиционные SQL-операции с продвинутыми функциями обработки данных.