arXiv · 03.08.2026 ·Исследования и наука

AURORA-LM: новый подход к генерации текста через непрерывные латентные пространства

Исследователи представили AURORA-LM — архитектуру, которая переносит принципы диффузионных моделей из работы с изображениями и аудио в область обработки естественного языка. В отличие от традиционных LLM, работающих с дискретными токенами, модель использует непрерывные латентные представления, что позволяет преодолеть ограничения существующих методов сжатия и повысить качество генерации текста за счет более эффективного декодирования.

Традиционные языковые модели опираются на дискретные токены, что создает разрыв между методами генерации текста и мультимодальными моделями, работающими в непрерывных пространствах. Существующие попытки адаптации диффузионных моделей для текста часто сталкиваются с потерей точности на уровне отдельных токенов или требуют сложных схем сжатия, которые негативно влияют на связность и логику генерируемого контента.

AURORA-LM предлагает унифицированный подход к автокодированию и диффузии, позволяя модели обучаться в пространстве, специально оптимизированном для совместной генерации и декодирования. Это решение минимизирует артефакты, возникающие при переходе от латентного представления к текстовому выводу, и открывает путь к созданию более гибких генеративных систем, способных работать с текстом как с непрерывным сигналом.

Ключевые факты

AURORA-LM использует непрерывные латентные пространства для генерации текста, отказываясь от классической дискретизации токенов.
Архитектура решает проблему несовместимости пространств эмбеддингов, характерную для предыдущих попыток внедрения диффузионных моделей в NLP.
Метод направлен на устранение потерь информации, возникающих при сжатии данных в автокодировщиках для последующей диффузии.
Разработка позволяет интегрировать текстовые модели в единые конвейеры с генераторами изображений и аудио, использующими схожие принципы латентной диффузии.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение Диффузионные модели для параллельной генерации текста Исследователи представили новый подход к архитектуре больших языковых моделей, основанный на принципах диффузии. В отличие от стандартных LLM, которые предсказывают следующий токен последовательно, новая методика позволяет генерировать множество токенов одновременно. Это радикально меняет процесс формирования текста, превращая его из пошагового авторегрессионного процесса в параллельный. Together.ai · Инференс и железо Aurora: фреймворк для самоподдерживающегося speculative decoding Together AI представила Aurora — открытый фреймворк для reinforcement learning (RL), который преобразует speculative decoding из одноразовой настройки в самоулучшающуюся систему. Aurora обучается на каждом запросе, что позволяет повысить производительность модели на 25% по сравнению с традиционными методами. arXiv · Инференс и железо Оптимизация инференса через метод Relaxed Speculative Decoding Исследователи представили метод Relaxed Speculative Decoding, который ускоряет генерацию текста LLM за счет отказа от строгого соответствия распределению вероятностей исходной модели. В отличие от классического спекулятивного декодирования, этот подход допускает контролируемые отклонения при проверке токенов, что позволяет значительно повысить скорость инференса без необходимости дополнительного обучения вспомогательных моделей. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. arXiv · Исследования и наука Audio-Native: распознавание речи через дискретные диффузионные модели Исследователи представили метод автоматического распознавания речи, основанный на дискретных диффузионных языковых моделях вместо традиционных авторегрессионных декодеров. В отличие от последовательной генерации токенов, новый подход позволяет уточнять транскрипцию целиком параллельно за несколько шагов шумоподавления. В качестве основы используется модель DiffusionGemma с 26 миллиардами параметров, адаптированная для работы с аудиоданными напрямую. Hacker News · Инференс и железо Метод управления LLM без использования Autograd и видеопамяти Исследователи представили новый подход к управлению поведением больших языковых моделей, исключающий необходимость использования Autograd и потребление видеопамяти (VRAM). Метод основан на концепции «непрерывного волнового поля», позволяющей направлять генерацию текста через альтернативные вычислительные пути. Это решение значительно снижает аппаратные требования при тонкой настройке или управлении логикой моделей в условиях ограниченных ресурсов. arXiv · Машинное обучение Adaptive Block Diffusion решает проблему несовпадения обучения и инференса в DLM Исследователи представили метод Adaptive Block Diffusion (ABD), направленный на устранение разрыва между обучением и инференсом в диффузионных языковых моделях (DLM). Традиционные модели ограничены фиксированными контекстными структурами, что приводит к деградации качества при работе с произвольными конфигурациями. Новый подход оптимизирует процесс шумоподавления, позволяя моделям эффективно адаптироваться к различным длинам последовательностей и структурам данных вне обучающей сетки. arXiv · Машинное обучение Новый метод декодирования для борьбы с повторами в LLM Исследователи представили метод Variance-Calibrated Modulation (VCM), направленный на устранение проблемы «ловушки правдоподобия» при генерации текста большими языковыми моделями. Традиционные подходы к декодированию, такие как Top-p или Min-p, часто приводят к монотонности и избыточным повторам, так как модели склонны чрезмерно полагаться на наиболее вероятные токены, игнорируя разнообразие лексики, характерное для человеческой речи. arXiv · Машинное обучение Улучшение акустического восприятия в аудио-языковых моделях через активацию нейронов Исследователи представили метод повышения точности распознавания несемантических признаков речи в крупных аудио-языковых моделях (LALM). Вместо дорогостоящего дообучения авторы предложили технику идентификации и усиления специфических нейронов на стороне энкодера. Это позволяет модели точнее определять эмоции и другие тонкие характеристики звука, сохраняя при этом высокую эффективность обработки основного текстового содержания аудиозаписей. Hacker News · Машинное обучение Реализация дискретной диффузионной модели для генерации текста Автор проекта представил учебную реализацию диффузионной модели, адаптированной для работы с текстовыми данными. В качестве обучающего набора использован классический датасет с произведениями Шекспира. Проект демонстрирует принципы работы диффузионных процессов в дискретном пространстве токенов, предлагая альтернативный взгляд на генерацию текста, отличный от стандартных авторегрессионных архитектур, используемых в современных LLM.

← Все материалы