Hacker News · 06.08.2026 ·Данные и инжиниринг

Оптимизация векторного поиска в RavenDB для экономии 220 млн долларов

Разработчики RavenDB представили подход к контекстным эмбеддингам, позволяющий радикально снизить затраты на хранение и обработку векторных данных. Вместо использования внешних специализированных векторных баз данных, решение интегрирует векторный поиск непосредственно в существующую архитектуру БД. Это позволяет компаниям экономить до 220 миллионов долларов на инфраструктуре, избегая дублирования данных и сложных процессов синхронизации между системами.

Основная проблема современных RAG-систем заключается в необходимости поддерживать два отдельных хранилища: основную базу данных для метаданных и векторную базу для семантического поиска. Это приводит к избыточности, росту операционных расходов и задержкам при обновлении индексов. Подход RavenDB заключается в использовании контекстных эмбеддингов, которые привязываются к конкретным документам и обновляются атомарно вместе с ними.

Такая архитектура позволяет выполнять гибридные запросы, объединяя полнотекстовый поиск, фильтрацию по метаданным и векторное сходство в рамках одной транзакции. Это не только упрощает стек технологий, но и обеспечивает высокую консистентность данных, что критически важно для корпоративных приложений, работающих с большими объемами информации в реальном времени.

Ключевые факты

Внедрение контекстных эмбеддингов позволяет отказаться от использования отдельных векторных БД, сокращая расходы на инфраструктуру на 220 млн долларов в масштабах крупных корпоративных систем.
Интеграция векторного поиска непосредственно в RavenDB обеспечивает атомарное обновление индексов при изменении исходных документов.
Гибридный поиск позволяет комбинировать векторную близость с традиционными SQL-подобными фильтрами в одном запросе.
Решение устраняет необходимость в ETL-процессах для передачи данных между основной БД и векторным хранилищем, снижая задержки (latency).

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Память и RAG Amazon DynamoDB добавила встроенную поддержку векторного поиска Amazon DynamoDB теперь поддерживает векторный поиск в реальном времени, позволяя хранить и искать векторные эмбеддинги непосредственно в базе данных. Это обновление устраняет необходимость в использовании отдельных специализированных векторных хранилищ для многих приложений, упрощая архитектуру RAG-систем и обеспечивая масштабируемость при работе с большими объемами данных в облачной инфраструктуре AWS. Hacker News · Данные и инжиниринг Эволюция баз данных в эпоху LLM: от классических систем к векторному поиску Развитие больших языковых моделей радикально меняет требования к инфраструктуре хранения данных. Традиционные реляционные системы сталкиваются с необходимостью интеграции векторного поиска для реализации RAG-архитектур. Анализ показывает, что рынок движется к гибридным решениям, где классические SQL-базы внедряют векторные расширения, чтобы конкурировать со специализированными векторными БД и обеспечивать эффективную работу с неструктурированной информацией в масштабе предприятия. Hacker News · Данные и инжиниринг Ускорение векторных эмбеддингов в 14 раз: опыт Manticore Search Разработчики Manticore Search оптимизировали работу с векторными эмбеддингами, переработав путь обработки данных через ONNX Runtime. Внедрение изменений позволило увеличить скорость генерации векторов в 14 раз по сравнению с предыдущей реализацией. Обновление направлено на повышение производительности полнотекстового поиска и векторных операций в высоконагруженных поисковых системах. Hacker News · Данные и инжиниринг Сравнение языковых моделей и векторных представлений в поиске Разработчики Verantyx представили анализ, сопоставляющий эффективность классических языковых моделей и векторных представлений данных при решении задач поиска. Исследование показывает, что современные системы RAG требуют баланса между семантическим поиском на основе эмбеддингов и традиционными методами обработки естественного языка для достижения высокой точности ответов и минимизации галлюцинаций в сложных корпоративных базах знаний. Lobsters · Данные и инжиниринг Опыт Notion: масштабирование векторного поиска в 10 раз при снижении затрат в 10 раз Команда Notion поделилась результатами двухлетней эксплуатации системы векторного поиска. Инженерам удалось увеличить масштаб индексации в 10 раз, одновременно сократив операционные расходы на 90%. Ключом к успеху стала оптимизация архитектуры хранения эмбеддингов и переход на более эффективные методы обработки данных, что позволило поддерживать высокую производительность при значительном росте пользовательского контента. Hacker News · Данные и инжиниринг Почему векторный поиск — это лишь часть задачи при построении RAG Внедрение векторных баз данных стало стандартом для RAG-систем, однако реальная сложность заключается не в поиске похожих векторов, а в определении того, какие именно данные должны быть проиндексированы и извлечены. Эффективность системы зависит от качества подготовки контекста, фильтрации шума и логики выбора источников, а не только от производительности алгоритмов поиска. Hacker News · Данные и инжиниринг Асимметричное квантование для эффективного векторного поиска Компания mixedbread представила метод асимметричного квантования, позволяющий сократить объем памяти для хранения векторных эмбеддингов на 97% при сохранении точности поиска. Технология оптимизирует хранение индексов, минимизируя потери данных, что критически важно для масштабируемых RAG-систем и высокопроизводительных поисковых движков, работающих с миллиардами векторов в оперативной памяти. Hacker News · Данные и инжиниринг Почему полный перебор эмбеддингов может быть эффективнее векторных БД Автор блога Software Doug ставит под сомнение необходимость использования сложных векторных баз данных для поиска по сходству в проектах среднего масштаба. Вместо внедрения специализированных инструментов предлагается использовать метод «грубой силы» (brute force) — вычисление косинусного сходства для всех векторов в памяти. Такой подход часто оказывается быстрее и проще в реализации при работе с наборами данных до нескольких миллионов записей. Hacker News · Данные и инжиниринг Как работает векторное выполнение в DuckDB DuckDB демонстрирует высокую производительность аналитических запросов благодаря архитектуре векторного выполнения. Вместо обработки данных по одной строке, система оперирует «векторами» — блоками данных, которые эффективно используют кэш процессора и позволяют минимизировать накладные расходы на вызовы функций. Это фундаментальное отличие от традиционных построчных движков, обеспечивающее кратный прирост скорости при работе с большими наборами данных. Hacker News · Данные и инжиниринг Как HubSpot масштабировал RAG-инфраструктуру для 20 миллиардов векторов Инженерная команда HubSpot поделилась опытом построения высоконагруженной RAG-системы, обрабатывающей более 20 миллиардов векторных представлений. Архитектура была спроектирована для обеспечения минимальной задержки при поиске в огромных массивах данных клиентов, что позволило внедрить эффективные ИИ-функции в CRM-платформу. Решение опирается на оптимизированные пайплайны обработки данных и специализированные векторные хранилища, способные поддерживать работу в режиме реального времени.

← Все материалы