Hacker News · 04.08.2026 ·Инференс и железо

DeepSeek V4 Flash демонстрирует высокую скорость инференса на одной GPU

Оптимизированная версия модели DeepSeek V4 Flash (релиз 0731) показала значительный прирост производительности при работе на потребительском и профессиональном железе. Тесты на одной видеокарте RTX 6000 Ada Generation подтвердили возможность достижения скорости префилла в 1328 токенов в секунду и декодирования на уровне 29 токенов в секунду при использовании 4-битной квантованной версии модели.

Такие показатели производительности стали возможны благодаря глубокой оптимизации архитектуры модели и методов квантования, что позволяет запускать современные LLM с высокой пропускной способностью на одиночных GPU. Использование квантования Q4 существенно снижает требования к видеопамяти, сохраняя при этом приемлемое качество генерации, что делает модель пригодной для локального развертывания в задачах, требующих низких задержек.

Высокая скорость обработки префилла критически важна для систем RAG и работы с длинными контекстами, где первичная обработка входящих данных часто становится «бутылочным горлышком». Стабильные 29 токенов в секунду при декодировании обеспечивают комфортную работу в режиме реального времени, что открывает возможности для интеграции мощных моделей в локальные агентные системы без необходимости обращения к облачным API.

Ключевые факты

Модель: DeepSeek V4 Flash (версия от 31 июля).
Железо: одна видеокарта NVIDIA RTX 6000 Ada Generation.
Скорость префилла: 1328 токенов в секунду.
Скорость декодирования: 29 токенов в секунду.
Метод оптимизации: 4-битное квантование (Q4).

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо DeepSeek V4 Flash: ускорение инференса почти в 3 раза без потери точности Разработчики представили оптимизированную версию модели DeepSeek V4 под названием Flash, которая демонстрирует прирост скорости генерации в 2,98 раза по сравнению со стандартной реализацией. Решение ориентировано на высокопроизводительные вычислительные кластеры, позволяя значительно сократить время отклика при сохранении исходного качества ответов и точности модели, что критически важно для масштабируемых агентных систем. Hacker News · Инференс и железо DeepSeek-V4-Flash: ускорение инференса почти в 3 раза на архитектуре NVIDIA B200 Разработчики представили DeepSeek-V4-Flash — оптимизированную версию модели, демонстрирующую почти трехкратный прирост скорости инференса на кластерах из четырех графических процессоров NVIDIA B200. Главная особенность релиза заключается в достижении высокой производительности без потери точности (lossless), что позволяет значительно сократить время отклика и затраты на вычислительные ресурсы при работе с крупными языковыми моделями в продакшене. Hacker News · Модели и релизы Анализ производительности и стоимости модели DeepSeek-V4-Flash Аналитическая платформа Artificial Analysis опубликовала детальный разбор новой модели DeepSeek-V4-Flash. Исследование подтверждает высокую эффективность архитектуры, демонстрируя значительный прогресс в соотношении вычислительной мощности и стоимости инференса. Модель показывает конкурентные результаты в бенчмарках, сохраняя при этом низкие задержки, что делает её привлекательным решением для высоконагруженных систем, требующих быстрой обработки данных при ограниченном бюджете на API. Hacker News · Инференс и железо Запуск DeepSeek V4 на потребительском железе AMD Ryzen AI Разработчики успешно запустили модель DeepSeek V4 Flash на процессоре AMD Ryzen AI MAX+ 395 (Strix Halo), достигнув скорости генерации до 32 токенов в секунду. Этот результат демонстрирует эффективность работы современных LLM на локальных потребительских чипах с интегрированной графикой, что открывает новые возможности для запуска тяжелых моделей без использования дискретных GPU. Simon Willison's Weblog · Модели и релизы Релиз DeepSeek-V4-Flash: новая модель с улучшенными агентными способностями Компания DeepSeek представила DeepSeek-V4-Flash-0731 — новую модель из серии V4, ориентированную на выполнение сложных агентных задач. При 304 миллиардах параметров модель демонстрирует высокую производительность, превосходя по ряду бенчмарков более крупные аналоги, такие как MiniMax M3. Эффективная архитектура и агрессивная ценовая политика делают её одним из самых конкурентоспособных решений на рынке LLM. The Decoder · Модели и релизы DeepSeek обновила модель V4 Flash: производительность на уровне лидеров при низкой цене Компания DeepSeek выпустила обновление «0731» для своей бюджетной модели V4 Flash, значительно повысив её вычислительные возможности. Согласно данным Artificial Analysis, модель набрала 50 баллов в Intelligence Index, вплотную приблизившись к показателям GPT-5.6 Luna от OpenAI. При этом стоимость выполнения задач с использованием новой версии снизилась примерно на 60% по сравнению с конкурентом. Hacker News · Инференс и железо Запуск DeepSeek V4 на одном ускорителе AMD MI300X Разработчики реализовали оптимизированный инференс модели DeepSeek V4 на единственном графическом ускорителе AMD Instinct MI300X. Проект демонстрирует возможности эффективного запуска крупноязычных моделей с использованием специализированных библиотек для работы с архитектурой CDNA 3, что позволяет существенно снизить требования к аппаратному обеспечению для развертывания высокопроизводительных систем. Hacker News · Модели и релизы Обзор возможностей модели DeepSeek-V4-Flash-0731 Саймон Уиллисон опубликовал подробный разбор новой модели DeepSeek-V4-Flash-0731, акцентируя внимание на её производительности и эффективности в задачах инференса. Модель демонстрирует значительный прогресс в скорости обработки запросов и качестве генерации кода, что делает её конкурентоспособным решением для разработчиков, стремящихся оптимизировать затраты на API при сохранении высокой точности ответов в сложных агентных сценариях. MarkTechPost · Инфраструктура для агентов DeepSeek представила DSpark для ускорения генерации моделей Компания DeepSeek выпустила DSpark — фреймворк для спекулятивного декодирования, оптимизирующий работу модели DeepSeek-V4. Технология использует параллельный черновой модуль и облегченную марковскую «голову» для предсказания токенов, что позволяет увеличить скорость генерации на 60–85% по сравнению с методом MTP-1. Решение динамически адаптирует количество проверяемых токенов в зависимости от текущей нагрузки на GPU. Hacker News · Инференс и железо AMD Lucebox превосходит Nvidia DGX Spark в инференсе DeepSeek V4 Компания Lucebox представила результаты тестирования своей новой архитектуры на базе ускорителей AMD, которая показала 3,63-кратное преимущество в производительности при инференсе модели DeepSeek V4 по сравнению с системой Nvidia DGX Spark. Достижение стало возможным благодаря внедрению асимметричного параллелизма, оптимизирующего распределение вычислительной нагрузки между узлами при работе с крупными языковыми моделями.

← Все материалы