Разработчики Manticore Search оптимизировали работу с векторными эмбеддингами, переработав путь обработки данных через ONNX Runtime. Внедрение изменений позволило увеличить скорость генерации векторов в 14 раз по сравнению с предыдущей реализацией. Обновление направлено на повышение производительности полнотекстового поиска и векторных операций в высоконагруженных поисковых системах.

Основная проблема заключалась в неэффективном управлении сессиями и избыточном копировании данных при передаче тензоров между слоями системы. Инженеры перешли на использование более легковесных механизмов инференса и оптимизировали пайплайн обработки запросов, что позволило минимизировать задержки при выполнении операций над векторными представлениями документов.

Данная оптимизация критически важна для систем, использующих RAG-архитектуры, где скорость преобразования текста в вектор напрямую влияет на время отклика всей поисковой системы. Переработка архитектуры позволила эффективнее использовать ресурсы CPU при выполнении моделей машинного обучения непосредственно внутри поискового движка, исключая необходимость во внешних сервисах для векторизации.

Ключевые факты

  • Производительность генерации эмбеддингов выросла в 14 раз после рефакторинга.
  • Оптимизация затронула интеграцию с ONNX Runtime внутри движка Manticore Search.
  • Основной прирост скорости достигнут за счет устранения лишних операций копирования данных и оптимизации жизненного цикла сессий инференса.
  • Изменения позволяют выполнять векторные вычисления с меньшими затратами ресурсов процессора при индексации и поиске.