Together.ai · 10.05.2026 ·Инференс и железо

DeepSeek-V4 и миллион-токеновый контекст: вызов для инференс-систем

DeepSeek-V4, новая модель от DeepSeek, поддерживает контекст длиной в миллион токенов. Это создаёт новые вызовы для инференс-систем, так как обработка такого объёма данных требует оптимизации на уровне оборудования и алгоритмов.

Together AI исследовала, как работает инференс для DeepSeek-V4 на серверах NVIDIA HGX B200. В фокусе — сжатые KV-массивы, кэширование префиксов, зрелость ядер и профилирование эндпоинтов для длинных контекстов.

Ключевые аспекты включают эффективное управление памятью и вычислительными ресурсами. Например, сжатые KV-массивы позволяют уменьшить нагрузку на память, а кэширование префиксов ускоряет обработку повторяющихся запросов.

Компания также отмечает, что зрелость ядер и оптимизация профилей эндпоинтов критически важны для стабильной работы с длинными контекстами. Это особенно актуально для моделей, работающих на мощном оборудовании, таком как NVIDIA HGX B200.

Результаты исследования показывают, что миллион-токеновый контекст — это не только вопрос модели, но и сложная инженерная задача, требующая глубокой оптимизации инференс-систем.

Источник: Together.ai

Похожие материалы

Hugging Face - Blog · Память и RAG DeepSeek-V4: миллион токенов для ИИ-агентов Команда DeepSeek представила новую версию своей модели DeepSeek-V4, которая поддерживает контекст длиной в миллион токенов. Это значительный шаг вперёд для разработчиков ИИ-агентов, так как возможность работы с таким объёмом информации открывает новые горизонты для создания более сложных и автономных систем. Together.ai · Модели и релизы DeepSeek-V4 Pro доступна на Together AI Together AI анонсировала доступность модели DeepSeek-V4 Pro. Новая версия поддерживает контекст длиной 512K токенов, что позволяет обрабатывать сложные задачи, такие как анализ кода, документов и синтез исследований. NVIDIA Technical Blog · Инференс и железо MiniMax M3 и NVIDIA для агентных workflows с длинным контекстом NVIDIA и MiniMax представили решение для развёртывания агентных workflows с поддержкой длинного контекста. Это важно для разработчиков, которым приходится собирать фрагментированные пайплайны из разных моделей для текста, изображения и других задач. Together.ai · Инференс и железо Как Together оптимизировал MiniMax-M3 для эффективного инференса Компания Together.ai представила подход к оптимизации работы модели MiniMax-M3, позволяющий эффективно обрабатывать контекст из 1 миллиона токенов и поддерживать мультимодальность. В основе решения лежит использование KV-block-major sparse attention, что позволяет значительно сократить вычислительные затраты при работе с большими контекстами. Hacker News · Бизнес и инвестиции DeepSeek инвестирует 10 млрд долларов в развитие ИИ Китайская компания DeepSeek объявила о масштабной инвестиционной стратегии на сумму 10 миллиардов долларов. Эти средства будут направлены на развитие инфраструктуры, исследований и коммерциализации ИИ-технологий. В частности, компания планирует создать мощные вычислительные центры и расширить свои исследовательские лаборатории. Hacker News · Инференс и железо Как кеш ключ-значение влияет на VRAM при работе с длинным контекстом Работа с длинными контекстами в ИИ-моделях — одна из ключевых задач при разработке агентов. Однако увеличение длины контекста приводит к росту потребления VRAM, что ограничивает возможности инференса на доступном железе. В статье разбирается, как именно кеш ключ-значение (KV cache) влияет на использование памяти и какие стратегии позволяют оптимизировать этот процесс. Hacker News · Инференс и железо Qwen 3.6 93B на двух RTX 3090 NVLink: 187 токенов в секунду Команда Augmented Reality Virtual Reality (AR VR) опубликовала результаты тестирования модели Qwen 3.6 93B с использованием MTP (Multi-Query Tensor Parallelism) на конфигурации из двух видеокарт RTX 3090 с NVLink. В результате удалось достичь скорости инференса в 187 токенов в секунду. Это значительное улучшение по сравнению с предыдущими показателями, что делает модель более пригодной для локального использования, включая разработку ИИ-агентов. arXiv · Модели и релизы Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. MarkTechPost · Оркестрация агентов Perplexity интегрирует Deep Research в Perplexity Computer для сложных аналитических задач Perplexity объявила о интеграции своего инструмента Deep Research в Perplexity Computer. Теперь система способна разбивать сложные исследовательские задачи на подзадачи и распределять их между более чем 20 передовыми моделями ИИ. Это позволяет генерировать отчёты, презентации и дашборды с высокой степенью детализации и точности.

← Все материалы