arXiv · 09.07.2026 ·Инференс и железо

DominoTree: ускорение инференса LLM через древовидное спекулятивное декодирование

Исследователи представили DominoTree — новый метод ускорения инференса больших языковых моделей, объединяющий преимущества блочной диффузии и древовидного поиска. В отличие от стандартных подходов, Domino использует GRU-коррекцию для учета зависимостей между токенами, что позволяет создавать более точные последовательности для параллельной верификации. Метод значительно повышает эффективность генерации, сохраняя при этом качество выходных данных модели.

Спекулятивное декодирование традиционно опирается на «черновые» модели (drafters), которые генерируют кандидатов для быстрой проверки основной моделью. Однако классические методы часто сталкиваются с ограничением: либо они генерируют токены независимо, теряя контекст, либо требуют слишком больших вычислительных затрат на построение дерева вариантов. DominoTree решает эту проблему за счет введения причинно-следственной коррекции на уровне GRU-блока, что позволяет лучше предсказывать вероятные токены в рамках одной итерации.

Использование древовидной структуры позволяет модели рассматривать несколько путей генерации одновременно. Благодаря интеграции Domino, система эффективно балансирует между глубиной поиска и точностью предсказаний. Это снижает количество обращений к основной модели, которая является наиболее «тяжелым» компонентом системы, и сокращает общую задержку при генерации длинных текстов.

Ключевые факты

DominoTree объединяет блочную диффузию с поиском по дереву для оптимизации спекулятивного декодирования.
Внедрение GRU-коррекции позволяет учитывать зависимости между токенами внутри одного блока генерации.
Метод минимизирует количество вызовов основной модели за счет повышения точности черновиков.
Подход позволяет эффективно масштабировать параллельную верификацию токенов без потери качества ответов.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Инференс и железо Оптимизация инференса через метод Relaxed Speculative Decoding Исследователи представили метод Relaxed Speculative Decoding, который ускоряет генерацию текста LLM за счет отказа от строгого соответствия распределению вероятностей исходной модели. В отличие от классического спекулятивного декодирования, этот подход допускает контролируемые отклонения при проверке токенов, что позволяет значительно повысить скорость инференса без необходимости дополнительного обучения вспомогательных моделей. Hacker News · Инференс и железо JetSpec ускоряет инференс LLM до 9.64 раз с помощью параллельного древовидного декодирования Исследователи представили JetSpec — новый метод оптимизации инференса больших языковых моделей, использующий параллельное древовидное декодирование. Технология позволяет достичь ускорения до 9.64 раз при сохранении точности генерации. В пиковых нагрузках система демонстрирует производительность до 1000 токенов в секунду (TPS), что значительно превосходит стандартные подходы к генерации текста. arXiv · Машинное обучение Posterior Refinement: новый метод ускорения генерации текста в неавторегрессионных моделях Исследователи представили метод Posterior Refinement, решающий проблему низкой эффективности неавторегрессионных языковых моделей. Новый подход использует Any-Order Flow Maps для итеративного уточнения текста, позволяя моделям критиковать и перегенерировать произвольные фрагменты токенов одновременно. Это устраняет ошибки факторизации, характерные для маскированных диффузионных моделей, и значительно повышает качество генерации при сохранении высокой скорости работы. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. arXiv · Машинное обучение Diffusion-GR2: ускорение генеративного ранжирования в рекомендательных системах Исследователи представили Diffusion-GR2 — новый метод для рекомендательных систем, использующий диффузионные языковые модели вместо авторегрессионных декодеров. Подход позволяет значительно ускорить процесс генеративного рассуждения при ранжировании кандидатов. За счет параллельного декодирования модель сокращает время вывода, сохраняя при этом высокую точность цепочки рассуждений (chain-of-thought), характерную для современных генеративных ранжировщиков. arXiv · Инференс и железо Теоретическое обоснование механизмов принятия токенов в спекулятивном декодировании Исследователи представили теоретическую модель процесса принятия токенов в спекулятивном декодировании, которая выходит за рамки классического сохранения распределения вероятностей. Работа анализирует поведение систем при использовании жадных алгоритмов и ослабленных правил верификации, позволяя точнее предсказывать ускорение инференса и качество генерации при работе связки «быстрая модель-черновик — тяжелая целевая модель» в реальных производственных условиях. Hacker News · Инференс и железо DSpark: ускорение генерации LLM через спекулятивное декодирование DSpark — это метод оптимизации инференса больших языковых моделей, использующий технику спекулятивного декодирования для повышения скорости генерации текста. Подход позволяет модели-черновику быстро предлагать последовательности токенов, которые затем параллельно проверяются основной моделью. Это значительно сокращает время ожидания ответа, сохраняя при этом точность, соответствующую оригинальной архитектуре, что критически важно для высоконагруженных агентных систем. Hacker News · Машинное обучение Диффузионные модели для параллельной генерации текста Исследователи представили новый подход к архитектуре больших языковых моделей, основанный на принципах диффузии. В отличие от стандартных LLM, которые предсказывают следующий токен последовательно, новая методика позволяет генерировать множество токенов одновременно. Это радикально меняет процесс формирования текста, превращая его из пошагового авторегрессионного процесса в параллельный. GitHub · Инфраструктура для агентов DeepSpec: фреймворк от DeepSeek для оптимизации инференса через спекулятивное декодирование Компания DeepSeek представила DeepSpec — комплексную инфраструктуру для разработки, обучения и оценки алгоритмов спекулятивного декодирования. Инструментарий позволяет ускорить генерацию текста LLM за счет использования малых моделей-черновиков, которые предсказывают токены, а затем верифицируются основной моделью. Решение предоставляет полный стек для оптимизации инференса и повышения пропускной способности систем в реальном времени. MarkTechPost · Машинное обучение Liquid AI представила метод Antidoom для борьбы с зацикливанием LLM Компания Liquid AI выпустила Antidoom — метод оптимизации предпочтений финальных токенов (FTPO), предназначенный для устранения «петель гибели» (doom loops) в рассуждениях языковых моделей. Технология выявляет токен, провоцирующий бесконечное повторение фрагмента текста, и проводит точечное дообучение этой позиции, что радикально снижает частоту ошибок генерации при сохранении производительности модели.

← Все материалы