Engineering at Meta · 26.05.2026 ·Память и RAG

SilverTorch: новый подход к рекомендательным системам

Meta (признана экстремистской организацией, деятельность запрещена в РФ) представила SilverTorch — новую архитектуру для рекомендательных систем. Она объединяет все компоненты извлечения контента пользователей в единую структуру. По заявлению компании, SilverTorch демонстрирует до 23,7 раза более высокую пропускную способность по сравнению с лучшими существующими решениями.

Кроме того, SilverTorch показывает 20,9 раза более высокую вычислительную эффективность по сравнению с CPU-решениями, сохраняя при этом высокую точность рекомендаций. Это делает её перспективной для масштабируемых систем, где важны как производительность, так и экономия ресурсов.

Исследование, посвящённое SilverTorch, было опубликовано в виде научной статьи. В ней подробно описаны принципы работы новой архитектуры и её преимущества перед традиционными подходами. Разработчики отмечают, что SilverTorch может быть полезна не только для рекомендательных систем, но и для других задач, связанных с обработкой и извлечением данных.

Источник: Engineering at Meta

Похожие материалы

Replicate's blog · Инференс и железо Torch compile caching для ускорения инференса Компания Replicate представила технологию Torch compile caching, которая позволяет кэшировать скомпилированные модели для ускорения времени загрузки и выполнения инференса. Это решение особенно полезно для пользователей, работающих с большими моделями, так как значительно сокращает время запуска и обработки запросов. Hacker News · Инференс и железо Tensordyne обещает революцию в инференсе благодаря логарифмической математике Компания Tensordyne заявила о прорыве в области инференса, используя логарифмическую математику для ускорения вычислений. По их словам, новая архитектура позволяет значительно снизить затраты на вычисления и повысить скорость обработки запросов. Это особенно важно для разработчиков ИИ-агентов, так как инференс остается одной из самых затратных частей работы с моделями. arXiv · Оркестрация агентов HyperTool: новый подход к оркестрации инструментов в ИИ-агентах Исследователи из MIT и других ведущих университетов предложили новый подход к оркестрации инструментов в ИИ-агентах, который может значительно повысить эффективность работы агентов. В традиционных системах инструменты вызываются пошагово, что приводит к избыточным вычислениям и перегрузке контекста. Авторы работы предлагают использовать более крупнозернистые вызовы инструментов, что позволяет сократить количество шагов и улучшить управление данными. Microsoft Research · Оркестрация агентов MagenticLite: агентная система для малых моделей от Microsoft Research Microsoft Research представила MagenticLite — агентную систему, оптимизированную для работы с малыми моделями. Она поддерживает выполнение задач как в браузере, так и в локальной файловой системе, что делает её универсальным решением для повседневных задач. Система объединяет специализированные модели и оркестрацию, что позволяет эффективно использовать ограниченные вычислительные ресурсы. Hacker News · Инференс и железо Token-saviour снижает расход токенов в агентах на 70% Разработчики ИИ-агентов сталкиваются с проблемой высокого расхода токенов при выборе инструментов. Новый фреймворк Token-saviour предлагает решение, снижая потребление токенов на 70%. Это достигается за счёт умного маршрутизации запросов к инструментам, минимизируя избыточные вызовы и оптимизируя взаимодействие с внешними сервисами. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. Lobsters · Инференс и железо TurboQuant ускоряет инференс моделей на 30% без потери точности Команда Baseten представила TurboQuant — метод оптимизации инференса, который ускоряет работу моделей на 30% без потери точности. Разработчики провели 31 час на математических выкладках, чтобы создать алгоритм, который автоматически выбирает оптимальные параметры квантования для различных моделей. Это особенно важно для агентов, где скорость обработки запросов напрямую влияет на пользовательский опыт. Hacker News · Оркестрация агентов Data-Parallel Thinking: новые подходы к распараллеливанию задач Исследователи из Стэнфорда представили работу «Data-Parallel Thinking», в которой рассматриваются современные подходы к распараллеливанию задач в контексте обработки больших данных и распределённых вычислений. В документе подробно разбираются методы оптимизации, которые могут быть полезны при разработке ИИ-агентов, особенно в части эффективного использования вычислительных ресурсов. Hacker News · Инференс и железо Новый фреймворк для JIT-компиляции ускоряет работу ИИ-моделей Исследователи представили новый фреймворк для JIT-компиляции, который может значительно ускорить выполнение ИИ-моделей. Система использует многоуровневую JIT-компиляцию в рамках мета-трейсинга, что позволяет оптимизировать код на лету и повышать производительность. MarkTechPost · Инференс и железо Flash-KMeans: ускорение K-Means на GPU в 200 раз Flash-KMeans — это открытая реализация алгоритма K-Means, оптимизированная для работы на GPU с использованием Triton. В отличие от существующих решений, она не меняет математическую основу алгоритма, но значительно ускоряет его выполнение за счёт оптимизации ввода-вывода и устранения проблем с конкуренцией за ресурсы.

← Все материалы