Lobsters · 22.07.2026 ·Данные и инжиниринг

Опыт Notion: масштабирование векторного поиска в 10 раз при снижении затрат в 10 раз

Команда Notion поделилась результатами двухлетней эксплуатации системы векторного поиска. Инженерам удалось увеличить масштаб индексации в 10 раз, одновременно сократив операционные расходы на 90%. Ключом к успеху стала оптимизация архитектуры хранения эмбеддингов и переход на более эффективные методы обработки данных, что позволило поддерживать высокую производительность при значительном росте пользовательского контента.

В основе решения лежит переход от стандартных облачных решений к оптимизированному стеку, использующему комбинацию векторных индексов и классических баз данных. Разработчики сфокусировались на снижении задержек при поиске и уменьшении объема памяти, необходимого для хранения векторов. Это позволило системе справляться с миллиардами документов, сохраняя при этом релевантность выдачи и высокую скорость отклика для пользователей.

Особое внимание уделили жизненному циклу эмбеддингов: компания внедрила механизмы автоматического обновления индексов при изменении контента и эффективные стратегии кэширования. Такой подход позволил избежать избыточных вычислений и снизить нагрузку на инфраструктуру инференса, что стало критически важным фактором при масштабировании сервиса на всю базу пользователей.

Ключевые факты

Масштаб системы векторного поиска увеличен в 10 раз за два года эксплуатации.
Операционные затраты на поддержку векторной инфраструктуры снижены в 10 раз.
Система успешно обрабатывает миллиарды документов в режиме реального времени.
Оптимизация позволила значительно сократить потребление памяти и вычислительных ресурсов на один запрос.
Внедрены автоматизированные пайплайны для обновления индексов при редактировании пользовательских данных.

Источник: Lobsters

Обсудить с ИИ

Похожие материалы

Hacker News · Данные и инжиниринг Ускорение векторных эмбеддингов в 14 раз: опыт Manticore Search Разработчики Manticore Search оптимизировали работу с векторными эмбеддингами, переработав путь обработки данных через ONNX Runtime. Внедрение изменений позволило увеличить скорость генерации векторов в 14 раз по сравнению с предыдущей реализацией. Обновление направлено на повышение производительности полнотекстового поиска и векторных операций в высоконагруженных поисковых системах. Hacker News · Данные и инжиниринг Manticore Search ускорила генерацию эмбеддингов в 14 раз через оптимизацию ONNX Команда Manticore Search представила результаты оптимизации своего поискового движка, добившись 14-кратного ускорения процесса генерации векторных эмбеддингов. Переработка пути обработки данных через ONNX Runtime позволила значительно снизить накладные расходы при выполнении инференса моделей внутри системы, что критически важно для высоконагруженных RAG-систем и векторного поиска в реальном времени. Hacker News · Данные и инжиниринг Асимметричное квантование для эффективного векторного поиска Компания mixedbread представила метод асимметричного квантования, позволяющий сократить объем памяти для хранения векторных эмбеддингов на 97% при сохранении точности поиска. Технология оптимизирует хранение индексов, минимизируя потери данных, что критически важно для масштабируемых RAG-систем и высокопроизводительных поисковых движков, работающих с миллиардами векторов в оперативной памяти. Hacker News · ИИ в бизнесе Оптимизация облачных затрат и точности поиска через векторные эмбеддинги Компания Warner Music Group внедрила систему на базе векторных эмбеддингов для сопоставления музыкальных метаданных, что позволило сократить расходы на облачную инфраструктуру вдвое при одновременном повышении точности поиска на 65%. Переход от традиционных методов сравнения строк к семантическому поиску на основе ИИ позволил оптимизировать обработку огромных массивов данных в реальном времени. Hacker News · Данные и инжиниринг Как HubSpot масштабировал RAG-инфраструктуру для 20 миллиардов векторов Инженерная команда HubSpot поделилась опытом построения высоконагруженной RAG-системы, обрабатывающей более 20 миллиардов векторных представлений. Архитектура была спроектирована для обеспечения минимальной задержки при поиске в огромных массивах данных клиентов, что позволило внедрить эффективные ИИ-функции в CRM-платформу. Решение опирается на оптимизированные пайплайны обработки данных и специализированные векторные хранилища, способные поддерживать работу в режиме реального времени. Hacker News · Данные и инжиниринг Обновление Manticore Search 27.1.5: новые возможности для векторного поиска Вышел релиз поискового движка Manticore Search версии 27.1.5, сфокусированный на улучшении производительности векторного поиска и расширении инструментов для работы с данными. Ключевым нововведением стала оптимизация алгоритмов поиска ближайших соседей (ANN), что позволило значительно ускорить обработку векторных запросов. Разработчики также добавили встроенную поддержку диалоговых сценариев, упрощающих интеграцию с языковыми моделями для создания RAG-систем. Hacker News · Данные и инжиниринг Масштабируемые PostgreSQL-совместимые базы данных для ИИ-нагрузок Разработчики Cockroach Labs проанализировали требования к инфраструктуре данных для современных ИИ-приложений. Основной акцент сделан на необходимости сочетания векторного поиска с традиционными реляционными возможностями PostgreSQL. Статья объясняет, как распределенные SQL-системы обеспечивают консистентность данных и высокую доступность, необходимые для работы с векторными эмбеддингами в высоконагруженных продакшн-системах, сохраняя при этом привычный инструментарий для инженеров. Hacker News · Данные и инжиниринг Эволюция баз данных в эпоху LLM: от классических систем к векторному поиску Развитие больших языковых моделей радикально меняет требования к инфраструктуре хранения данных. Традиционные реляционные системы сталкиваются с необходимостью интеграции векторного поиска для реализации RAG-архитектур. Анализ показывает, что рынок движется к гибридным решениям, где классические SQL-базы внедряют векторные расширения, чтобы конкурировать со специализированными векторными БД и обеспечивать эффективную работу с неструктурированной информацией в масштабе предприятия. Hacker News · Данные и инжиниринг Визуализация работы мультимодального векторного поиска Проект наглядно демонстрирует внутренние механизмы работы мультимодального векторного поиска, позволяя проследить путь данных от исходного запроса до сопоставления эмбеддингов. Инструмент визуализирует процесс преобразования текстовых и визуальных данных в единое векторное пространство, что помогает разработчикам лучше понять принципы работы современных поисковых систем, основанных на глубоком обучении и семантическом сходстве объектов. Hacker News · ИИ в бизнесе Как Snap внедрила ИИ-агентов для поиска по кодовой базе Инженеры Snap разработали систему семантического поиска по своей кодовой базе, объединив векторные представления кода с традиционными методами индексации. Решение позволяет разработчикам находить релевантные фрагменты кода и документацию с помощью естественного языка, что значительно сокращает время на онбординг и отладку сложных систем, насчитывающих миллионы строк кода.

← Все материалы