Together.ai · 18.02.2026 ·Машинное обучение

Новый метод ускоряет диффузионные языковые модели в 14 раз

Исследователи из Together AI представили Consistency Diffusion Language Models (CDLM) — метод, который ускоряет работу диффузионных языковых моделей в 14,5 раза без потери качества.

Проблема стандартных диффузионных моделей в том, что они не могут использовать кэширование ключ-значение (KV caching) и требуют множества шагов уточнения, что делает их неэффективными. CDLM решает обе проблемы: после обучения модель поддерживает точечное блоковое кэширование KV и сокращает количество шагов за счёт согласованности траекторий.

Тестирование показало, что CDLM сохраняет качество генерации текста при значительном снижении задержек. Это делает диффузионные модели более практичными для реального использования, особенно в задачах, требующих быстрого инференса.

Технология может найти применение в чат-ботах, системах генерации контента и других сервисах, где важна скорость обработки запросов.

Источник: Together.ai

Похожие материалы

Google DeepMind News · Машинное обучение DiffusionGemma от DeepMind ускоряет генерацию текста в 4 раза DeepMind представила новую модель DiffusionGemma, которая значительно ускоряет процесс генерации текста. Новая модель работает в 4 раза быстрее по сравнению с предыдущими решениями, что делает её одной из самых быстрых в своей категории. Это достижение может иметь значительное влияние на разработку ИИ-агентов, где скорость генерации текста играет ключевую роль в эффективности работы. Together.ai · Память и RAG ИИ ускоряет выполнение SQL-запросов в 4.78 раза Исследователи из Together AI продемонстрировали, что языковые модели могут значительно ускорить выполнение SQL-запросов. Они использовали LLM для оптимизации планов выполнения запросов, исправляя ошибки в оценке кардинальности, которые упускают статистические методы. Together.ai · Оркестрация агентов Как слабые модели справляются с длинным контекстом Исследователи из Together AI предложили новый подход к обработке длинных текстов с помощью небольших языковых моделей. Они разработали фреймворк «Divide & Conquer», который разбивает длинные документы на параллельные части и обрабатывает их с помощью нескольких моделей. arXiv · Инфраструктура для агентов Новый метод декодирования для ускорения работы ИИ-агентов Исследователи из MIT и Google Research предложили новый подход к декодированию в языковых моделях, который может значительно ускорить работу ИИ-агентов. В статье, опубликованной на arXiv, они представляют метод Mean-Field Parallel Decoding, который позволяет генерировать токены параллельно, минимизируя задержки. Hacker News · Инференс и железо Ускоренный локальный запуск Claude 2–8 раз Команда Functio-AI выпустила оптимизированную версию кода для локального запуска модели Claude от Anthropic. По заявлениям разработчиков, новая версия работает в 2–8 раз быстрее оригинального кода. arXiv · Инференс и железо Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. Together.ai · Обучение и дообучение Ускорение RL-тренировок на 50% с помощью DAS Исследователи из Together AI предложили метод DAS (Distribution-Aware Speculative Decoding), который ускоряет процесс rollout в reinforcement learning (RL) на 50% без потери качества. Rollout — это этап, когда агент тестирует свои действия в среде, и он часто становится узким местом в обучении RL-моделей. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Hacker News · Инференс и железо FlashAttention-4 ускоряет инференс моделей Команда Modal выпустила обновлённую версию FlashAttention-4, которая значительно ускоряет инференс трансформеров. Это особенно важно для агентов, работающих с большими языковыми моделями, где скорость обработки запросов напрямую влияет на пользовательский опыт. arXiv · Модели и релизы Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода.

← Все материалы