Команда Milvus анонсировала версию 3.0, которая переводит векторную базу данных на архитектуру Lake-Native. Ключевое изменение заключается в интеграции с объектными хранилищами типа S3 как основным слоем данных. Это позволяет системе напрямую работать с данными в «озерах», обеспечивая поддержку пакетной обработки и офлайн-аналитики без необходимости сложной миграции данных между хранилищами.
Новая архитектура значительно упрощает масштабирование и снижает затраты на инфраструктуру за счет разделения вычислительных мощностей и хранения. Milvus 3.0 оптимизирует работу с огромными массивами векторных данных, характерными для современных RAG-систем и крупномасштабных ML-проектов. Разработчики сфокусировались на обеспечении высокой производительности при работе с данными, которые уже находятся в облачных хранилищах, устраняя узкие места при индексации.
Внедрение Lake-Native подхода позволяет использовать единый стек для поиска по векторам и аналитической обработки данных. Это упрощает пайплайны данных, так как теперь можно выполнять сложные запросы непосредственно над S3-бакетами, сохраняя при этом низкую задержку поиска, свойственную специализированным векторным БД. Обновление также включает улучшенные механизмы управления памятью и распределения нагрузки.
Ключевые факты
- Переход на Lake-Native архитектуру с нативной поддержкой объектных хранилищ (S3) в качестве основного слоя.
- Оптимизация для пакетной обработки (batch workflows) и офлайн-аналитики больших объемов данных.
- Разделение вычислительных ресурсов и хранения для более гибкого масштабирования инфраструктуры.
- Улучшенная интеграция с существующими экосистемами данных, исключающая необходимость дублирования данных для векторного поиска.
- Повышение эффективности работы с крупномасштабными RAG-системами за счет прямого доступа к данным в облачных хранилищах.