arXiv · 17.06.2026 ·Модели и релизы

Sumi: новая архитектура диффузионных языковых моделей

Исследователи представили Sumi — первую языковую модель, основанную на принципе равномерной диффузии (Uniform Diffusion Language Model, UDLM), которая была обучена с нуля на значительном объеме данных и с большим количеством параметров. В отличие от традиционных авторегрессионных моделей, которые генерируют текст последовательно, токен за токеном, подход UDLM позволяет обновлять любой токен на любом этапе генерации. Это открывает возможности для более гибкого управления процессом создания текста и потенциально меняет подход к архитектуре больших языковых моделей.

Основная проблема существующих диффузионных моделей для текста заключалась в отсутствии масштабных экспериментов: ранее такие архитектуры не обучались на достаточно больших наборах данных, чтобы конкурировать с современными трансформерами. Авторы Sumi преодолели этот барьер, продемонстрировав, что диффузионные методы могут масштабироваться до уровня, сопоставимого с современными авторегрессионными системами. Это ставит под вопрос доминирование классических архитектур, основанных исключительно на предсказании следующего токена.

Использование диффузионного процесса позволяет модели лучше учитывать глобальный контекст всей последовательности сразу, а не только предыдущих элементов. Такой подход может привести к созданию более эффективных систем генерации, где качество текста и логическая связность достигаются за счет итеративного уточнения всей структуры сообщения. Результаты работы Sumi открывают новое направление в исследованиях, предлагая альтернативный путь развития для генеративного ИИ, где гибкость генерации становится ключевым преимуществом перед линейным предсказанием.

Источник: arXiv

Похожие материалы

arXiv · Исследования и наука Новый подход к формальному доказательству теорем с помощью диффузионных моделей Исследователи представили метод Diffusion-Proof, направленный на преодоление ограничений стандартных авторегрессионных языковых моделей в задачах формальной математики. Традиционные модели, предсказывающие следующий токен, часто сталкиваются с трудностями при построении длинных логических цепочек, необходимых для верификации сложных математических доказательств. Новый подход переносит принципы диффузионных процессов в область формального вывода, позволяя моделям более эффективно исследовать пространство возможных доказательств. Together.ai · Машинное обучение Новый метод ускоряет диффузионные языковые модели в 14 раз Исследователи из Together AI представили Consistency Diffusion Language Models (CDLM) — метод, который ускоряет работу диффузионных языковых моделей в 14,5 раза без потери качества. Hacker News · Модели и релизы Исследование: динамика развития языковых моделей Исследователи из Artificial Analysis провели анализ динамики развития языковых моделей, включая модели от Anthropic и Mistral. В исследовании рассматривается, как меняется интеллект моделей с течением времени, что позволяет лучше понять их эволюцию и потенциал. Hacker News · Машинное обучение Может ли gzip стать языковой моделью Исследователи изучают возможность использования алгоритма сжатия gzip в качестве языковой модели. В новом исследовании предложена идея, что gzip может быть адаптирован для предсказания следующего слова в тексте, аналогично традиционным языковым моделям. arXiv · Модели и релизы DreamReasoner-8B: ускорение логических рассуждений через блочную диффузию Исследователи представили DreamReasoner-8B — открытую языковую модель, использующую метод блочной диффузии для генерации цепочек рассуждений (Chain-of-Thought). В отличие от стандартных авторегрессионных моделей, которые генерируют текст токен за токеном, блочные диффузионные модели позволяют выполнять параллельное шумоподавление сразу для нескольких сегментов текста. Это решение направлено на преодоление ограничений скорости при выполнении сложных логических задач, требующих длинных последовательностей рассуждений. Together.ai · Оркестрация агентов Как слабые модели справляются с длинным контекстом Исследователи из Together AI предложили новый подход к обработке длинных текстов с помощью небольших языковых моделей. Они разработали фреймворк «Divide & Conquer», который разбивает длинные документы на параллельные части и обрабатывает их с помощью нескольких моделей. arXiv · Машинное обучение Улучшение многоязычного логического вывода через управляемое слияние моделей Исследователи представили новый метод объединения нейросетевых архитектур, направленный на повышение качества логического вывода в многоязычных задачах. Техника слияния моделей позволяет эффективно комбинировать способности специализированных систем, отвечающих за глубокое рассуждение, с возможностями моделей, обученных на широком спектре языков. Основная сложность подобных подходов заключается в конфликтах между весами исходных моделей, которые часто приводят к снижению точности итогового решения. Together.ai · Исследования и наука Как языковые модели генерируют контент без указаний Новое исследование показало, что языковые модели (LLM) демонстрируют уникальные «предпочтения» в генерации контента, когда им не дают конкретных указаний. Учёные обнаружили, что модели из разных семейств по-разному заполняют пробелы в информации. The latest research from Google · Память и RAG Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. arXiv · Машинное обучение Large Language Gibbs: новый подход к вероятностному выводу в LLM Исследователи представили метод Large Language Gibbs, направленный на решение проблемы структурированного логического вывода с использованием больших языковых моделей. Основная сложность при работе с LLM заключается в том, что их внутренние знания часто трудно интерпретировать в рамках строгих вероятностных моделей. Новый подход предлагает использовать условные распределения языковой модели в качестве переходов в цепочке Гиббса, что позволяет модели выполнять более точные вычисления при работе с переменными, описывающими сложные системы.

← Все материалы