Компания DoorDash внедрила систему «LLM-жюри» для автоматизации разметки метаданных в своем каталоге блюд. Вместо использования одной модели, система задействует несколько LLM, которые независимо анализируют изображения и описания позиций меню. Финальный результат формируется на основе консенсуса моделей, что позволяет значительно повысить точность классификации ингредиентов и категорий еды при масштабировании сервиса.
Проблема неструктурированных данных в ресторанном бизнесе часто заключается в неоднородности описаний и визуального контента. Традиционные методы классификации требовали огромных затрат на ручную модерацию. Использование подхода с «жюри» позволяет минимизировать галлюцинации отдельных моделей и обеспечить высокую достоверность тегов, которые затем используются для улучшения поисковой выдачи и рекомендательных систем для пользователей платформы.
Архитектура решения включает этап предобработки мультимодальных данных, где модели получают на вход как текстовые описания, так и визуальные признаки блюд. Если мнения моделей расходятся, система применяет дополнительные эвристики или направляет запрос на проверку человеку, что оптимизирует процесс обучения и донастройки алгоритмов на сложных кейсах.
Ключевые факты
- Система «LLM-жюри» использует ансамбль из нескольких моделей для перекрестной проверки данных.
- Основная цель внедрения — автоматизация создания метаданных для миллионов позиций в меню.
- Подход позволяет снизить уровень ошибок классификации, характерный для одиночных LLM.
- Мультимодальный анализ включает обработку изображений блюд и их текстовых описаний.
- Результаты классификации напрямую влияют на качество поисковых алгоритмов и персонализацию выдачи для клиентов.