Команда Apache SeaTunnel представила масштабное исследование, оценивающее возможности семи ведущих языковых моделей в автоматизации создания ETL-пайплайнов. Тестирование включало 100 различных задач, охватывающих написание конфигураций и интеграцию источников данных. Результаты показывают, насколько эффективно современные LLM справляются с генерацией кода для сложных инфраструктурных задач, требующих высокой точности и понимания специфических API.
В ходе эксперимента исследователи использовали собственный CLI-инструмент, который позволяет напрямую транслировать запросы пользователя в конфигурационные файлы Apache SeaTunnel. Основной акцент был сделан на способности моделей корректно интерпретировать требования к трансформации данных и минимизировать количество ошибок в синтаксисе, критичных для стабильной работы конвейеров обработки информации.
Анализ выявил существенные различия в качестве генерации между проприетарными моделями и open-source решениями. Исследование подчеркивает, что хотя LLM значительно ускоряют процесс проектирования пайплайнов, они все еще требуют верификации кода, особенно при работе с нестандартными источниками данных или сложной логикой фильтрации, где вероятность галлюцинаций остается высокой.
Ключевые факты
- В бенчмарке протестировано 7 популярных LLM, включая модели от OpenAI, Anthropic и Google.
- Общая выборка составила 100 уникальных сценариев построения пайплайнов данных.
- Оценка проводилась через Apache SeaTunnel AI CLI, автоматизирующий создание конфигураций.
- Исследование сфокусировано на метриках успешности компиляции и корректности синтаксиса сгенерированных конфигурационных файлов.
- Результаты демонстрируют разрыв в производительности между топовыми закрытыми моделями и доступными open-source аналогами в задачах дата-инжиниринга.