MarkTechPost · 08.07.2026 ·Данные и инжиниринг

Netflix оптимизировала работу с Apache Cassandra для ИИ-сервисов

Инженеры Netflix радикально ускорили чтение данных из Apache Cassandra, сократив задержки с секунд до миллисекунд. Решение проблемы «широких партиций» (wide partitions) в системе TimeSeries Abstraction реализовано через динамическое разделение данных по идентификаторам. Это позволило оптимизировать производительность при работе с высоконагруженными аналитическими потоками, критичными для функционирования внутренних ИИ-систем компании.

Проблема возникала из-за накопления огромных объемов данных в рамках одной партиции, что приводило к деградации производительности при выполнении запросов. Команда внедрила двухуровневый подход: Time Slice re-partitioning для настройки будущих партиций на уровне таблиц и динамическое разделение «на лету» для уже существующих записей. Процесс обнаружения перегруженных партиций автоматизирован через подсчет байтов и интеграцию с Kafka.

Для обеспечения целостности данных при разделении инженеры внедрили механизм проверки контрольных сумм (checksum-validated). Использование фильтров Блума (Bloom filters) дополнительно снизило нагрузку на чтение, исключая ненужные обращения к диску. Такая архитектура позволяет масштабировать хранилище без потери скорости доступа к историческим данным, что является важным фактором для обучения и инференса моделей, работающих с временными рядами.

Ключевые факты

Задержка чтения данных сокращена с нескольких секунд до миллисекунд.
Система использует Apache Cassandra для управления абстракцией временных рядов (TimeSeries Abstraction).
Обнаружение «широких партиций» происходит в реальном времени через мониторинг байтов и шину Kafka.
Целостность разделенных данных гарантируется проверкой контрольных сумм.
Оптимизация включает комбинацию статического (Time Slice) и динамического (per-ID) методов партиционирования.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

NVIDIA Technical Blog · Инференс и железо NVIDIA Dynamo Snapshot ускоряет запуск инференса в Kubernetes NVIDIA представила Dynamo Snapshot — технологию, решающую проблему холодного старта в инференсных развёртываниях на Kubernetes. Это особенно важно для динамически масштабируемых сервисов, где задержки при запуске новых экземпляров могут снижать производительность. Hacker News · Машинное обучение Новый математический подход снижает требования к «железу» для ИИ Исследователи предложили новый математический метод оптимизации вычислений, который позволяет значительно снизить нагрузку на аппаратное обеспечение при работе с нейросетями. Замена стандартных операций с плавающей запятой на альтернативные вычисления позволяет сократить потребление ресурсов GPU без потери точности моделей, что открывает путь к более эффективному инференсу на менее мощном оборудовании. Hacker News · Инфраструктура для агентов Масштабируемое хранилище петабайтного уровня для песочниц ИИ-агентов Разработчики представили инфраструктурное решение для управления данными в агентных средах, поддерживающее работу с петабайтными объемами информации. Система ориентирована на обеспечение высокой производительности при выполнении задач в изолированных песочницах, позволяя ИИ-агентам эффективно взаимодействовать с огромными массивами данных, необходимыми для обучения, тестирования и выполнения сложных вычислительных процессов в реальном времени. Hacker News · Инфраструктура для агентов Инструменты профилирования CUDA для оптимизации инференса в продакшене Разработчики систем машинного обучения получили новый подход к мониторингу производительности GPU при работе с нейросетями в реальном времени. Основная сложность при запуске моделей в продакшене заключается в поиске «узких мест», которые возникают на уровне низкоуровневых операций CUDA. Традиционные инструменты часто требуют остановки процессов или сложной настройки окружения, что делает их непригодными для высоконагруженных систем. Hacker News · Инфраструктура для агентов Снижение задержек инференса до 6 мс с помощью Pingora, Envoy и Spanner Инженеры Modal оптимизировали архитектуру обработки запросов к LLM, сократив время проксирования до 6 миллисекунд. Решение базируется на использовании прокси-сервера Pingora от Cloudflare, интеграции с Envoy и распределенной базе данных Google Cloud Spanner. Такой подход позволяет минимизировать сетевые задержки при маршрутизации трафика к GPU-инстансам в серверлесс-среде, обеспечивая высокую производительность для агентных систем. Hacker News · ИИ в бизнесе Создание ИИ-сервисов с нулевыми затратами на API через Nvidia NIM Разработчик представил набор из восьми специализированных ИИ-инструментов, реализованных без ежемесячных расходов на API-запросы. В основе архитектуры лежит использование Nvidia NIM — набора микросервисов для развертывания моделей, которые позволяют запускать предобученные нейросети локально или в собственной облачной инфраструктуре. Такой подход исключает зависимость от сторонних платных API, таких как OpenAI или Anthropic, и дает полный контроль над инференсом. Engineering at Meta · Данные и инжиниринг Инфраструктура хранения данных для обучения масштабных ИИ-моделей от Meta Meta (признана экстремистской организацией, деятельность запрещена в РФ) представила архитектурный подход к организации систем хранения данных, необходимых для обучения моделей нового поколения. Компания оптимизировала пайплайны для работы с экспоненциально растущими датасетами, сократив время доступа к информации и снизив вычислительные издержки, что позволило ускорить цикл выпуска передовых моделей с нескольких месяцев до нескольких недель. Hacker News · Исследования и наука Netflix исследует методы контролируемого редактирования видео с помощью ИИ Инженеры Netflix представили результаты исследований в области генеративного видео, сосредоточившись на повышении управляемости процесса редактирования. Основная задача проекта — дать создателям контента возможность вносить точечные изменения в видеоряд, сохраняя при этом временную согласованность и визуальную целостность исходного материала. В отличие от стандартных генеративных моделей, которые часто работают как «черный ящик», предложенный подход опирается на методы, позволяющие пользователям задавать конкретные параметры трансформации объектов и фоновых элементов. NVIDIA Technical Blog · Данные и инжиниринг Ускорение аналитических запросов в Presto с помощью GPU NVIDIA GB200 NVL72 NVIDIA представила решение для оптимизации распределенного SQL-движка Presto с использованием графических ускорителей GB200 NVL72. Интеграция позволяет значительно сократить время выполнения интерактивных аналитических запросов при работе с крупными массивами данных. Использование GPU-ускорения в архитектуре Presto обеспечивает высокую пропускную способность и низкую задержку, что критически важно для современных систем обработки данных и подготовки пайплайнов для ИИ-моделей. Hacker News · Инфраструктура для агентов Оптимизация контекста для снижения расхода токенов в ИИ-агентах Разработчики представили решение, позволяющее сократить потребление токенов более чем на 60% при выполнении агентных задач. Основной принцип работы заключается в автоматическом выявлении и удалении избыточного, повторяющегося контекста, который часто накапливается в ходе многошаговых рассуждений или длительных сессий взаимодействия с языковыми моделями.

← Все материалы