arXiv · 17.07.2026 ·Модели и релизы

Представлена серия моделей Loopie: архитектура с повторным использованием весов

Исследователи представили Loopie — новую серию моделей на архитектуре Looped Transformer, использующих принцип Mixture-of-Experts (MoE). Линейка включает две версии: модель с 20 млрд параметров (2 млрд активных) и модель с 6 млрд параметров (0,6 млрд активных). Разработка направлена на преодоление ограничений эффективности обучения, характерных для систем с многократным повторным использованием весов в глубоких нейронных сетях.

Основная проблема классических «зацикленных» трансформеров заключается в том, что при увеличении вычислительных затрат на обучение в N раз, простое масштабирование количества параметров часто оказывается более эффективным подходом. Авторы Loopie предлагают решение, которое позволяет более рационально использовать вычислительный бюджет, сохраняя при этом высокую производительность при ограниченном количестве активных параметров во время инференса.

Использование MoE-архитектуры в сочетании с концепцией циклического прохода данных позволяет достичь баланса между глубиной модели и её вычислительной сложностью. Это делает Loopie перспективным решением для сценариев, где требуется высокая точность при ограниченных ресурсах памяти и вычислительных мощностях, характерных для современных трансформеров.

Ключевые факты

Серия Loopie включает две модели: 20B (2B активных) и 6B (0,6B активных).
Архитектура основана на принципе Mixture-of-Experts (MoE) с использованием циклического прохода весов.
Исследование направлено на оптимизацию соотношения вычислительных затрат на претрейнинг и итогового количества параметров.
Модели демонстрируют эффективность в условиях, когда стандартное масштабирование параметров становится менее выгодным по сравнению с оптимизацией циклов обучения.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Новый метод Looped Transformers для улучшения логических рассуждений моделей Исследователи представили архитектуру Looped Transformers, которая объединяет скрытые (латентные) и явные процессы рассуждения в рамках единой модели. Метод позволяет итеративно уточнять логические выводы, используя циклическую обработку данных. Это решение значительно повышает точность моделей в задачах, требующих многошагового планирования и глубокого анализа, преодолевая ограничения стандартных трансформеров при решении сложных логических цепочек. Hacker News · Машинное обучение PuzzleMoE: новый метод сжатия моделей Mixture-of-Experts Исследователи представили PuzzleMoE — метод эффективного сжатия моделей с архитектурой Mixture-of-Experts (MoE). Технология позволяет значительно сократить количество параметров и вычислительные затраты при сохранении высокой точности нейросети. Подход оптимизирует структуру экспертов, делая крупные языковые модели более доступными для развертывания на ограниченных аппаратных ресурсах без существенной потери качества генерации. GitHub · Машинное обучение Масштабируемое обучение видеомоделей для воплощенного ИИ Проект LingBot-Video представляет новый подход к масштабированию обучения видеомоделей на основе архитектуры Mixture-of-Experts (MoE). Метод направлен на развитие воплощенного интеллекта (Embodied Intelligence), позволяя моделям эффективнее обрабатывать визуальные данные и обучаться на больших наборах видео, что критически важно для управления робототехническими системами и понимания динамических сред в реальном времени. Hacker News · Машинное обучение Создание трансформера на 350 млн параметров с нуля на PyTorch Автор опубликовал подробное руководство по обучению трансформерной модели с нуля, используя библиотеку PyTorch. В материале разбирается архитектура модели объемом 350 миллионов параметров, процесс подготовки данных, настройка гиперпараметров и технические аспекты реализации слоев внимания. Это практический разбор, который помогает понять внутреннюю механику современных LLM через написание чистого кода. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве. MarkTechPost · Оркестрация агентов Loop Engineering: переход от чат-интерфейсов к автономным исследовательским циклам Концепция Loop Engineering предлагает новый подход к работе с ИИ-агентами, заменяя ручное взаимодействие «запрос-ответ» на непрерывные автономные циклы. Используя методологии autoresearch и Bilevel Autoresearch, агенты самостоятельно формулируют гипотезы, проводят эксперименты и итеративно улучшают результаты, что радикально повышает эффективность выполнения сложных исследовательских задач без постоянного участия человека. Together.ai · Машинное обучение Parcae: модель с петлями вместо трансформеров Исследователи представили Parcae — модель с петлями, которая превосходит трансформеры по эффективности. Учёные показали, что увеличение рекурсии, а не данных, может быть вычислительно эффективным способом улучшения моделей. Hacker News · Исследования и наука ByteDance представила новый закон масштабирования для обучения LLM Исследователи ByteDance разработали новый закон масштабирования, который позволяет более эффективно предсказывать производительность моделей при увеличении вычислительных мощностей. В отличие от традиционных подходов, новая методология учитывает специфику архитектурных параметров, что помогает оптимизировать процесс обучения и потенциально преодолеть замедление прогресса в развитии больших языковых моделей, сохраняя высокую эффективность при росте объемов данных. MarkTechPost · Модели и релизы Soofi представил гибридную модель Soofi S 30B-A3B на базе архитектуры Mamba-Transformer Консорциум Soofi выпустил открытую языковую модель Soofi S 30B-A3B, объединяющую архитектуры Mamba и Transformer в формате Mixture-of-Experts (MoE). Модель оптимизирована для работы с немецким и английским языками. При общем объеме в 31,6 млрд параметров система активирует лишь 3,2 млрд параметров на каждый токен, что обеспечивает высокую производительность при сниженных вычислительных затратах на инференс. arXiv · Исследования и наука Обучение одного слоя Transformer может заменить полную настройку RL Исследователи выяснили, что для эффективного обучения с подкреплением (RL) больших языковых моделей не обязательно обновлять все параметры архитектуры. Эксперименты показали, что дообучение всего одного слоя Transformer позволяет достичь результатов, сопоставимых с полной настройкой модели. Это открытие ставит под сомнение необходимость равномерного обновления весов при пост-тренировке LLM и открывает путь к значительной оптимизации вычислительных ресурсов.

← Все материалы