Инженерная команда HubSpot поделилась опытом построения высоконагруженной RAG-системы, обрабатывающей более 20 миллиардов векторных представлений. Архитектура была спроектирована для обеспечения минимальной задержки при поиске в огромных массивах данных клиентов, что позволило внедрить эффективные ИИ-функции в CRM-платформу. Решение опирается на оптимизированные пайплайны обработки данных и специализированные векторные хранилища, способные поддерживать работу в режиме реального времени.
Для реализации такой системы инженеры сфокусировались на создании масштабируемого конвейера ETL, который преобразует неструктурированные данные в векторные эмбеддинги. Основным вызовом стала необходимость поддержания актуальности индексов при постоянном обновлении данных пользователями. Команда внедрила многоуровневую стратегию кэширования и распределенную архитектуру поиска, что позволило избежать узких мест при выполнении запросов к базе данных.
Технический стек включает использование современных векторных баз данных, интегрированных с существующей инфраструктурой хранения HubSpot. Особое внимание было уделено точности поиска и минимизации галлюцинаций моделей за счет строгого контроля качества извлекаемого контекста. Такой подход обеспечивает стабильную работу ИИ-ассистентов, которые опираются на специфические данные пользователей, сохраняя при этом высокую скорость отклика системы даже при пиковых нагрузках.
Ключевые факты
- Общий объем обрабатываемых векторных данных превышает 20 миллиардов единиц.
- Архитектура RAG спроектирована для работы в условиях высокой интенсивности запросов в CRM-системе.
- Реализованы оптимизированные ETL-пайплайны для автоматической генерации и обновления эмбеддингов.
- Внедрена многоуровневая система кэширования для снижения задержек при поиске в векторном индексе.
- Система обеспечивает высокую точность извлечения контекста для снижения вероятности галлюцинаций LLM.