arXiv · 16.06.2026 ·Модели и релизы

Новый метод SoftMoE для эффективного масштабирования LLM

Исследователи предложили новый подход SoftMoE для улучшения работы архитектур Mixture-of-Experts (MoE) в языковых моделях. Традиционные MoE используют top-k маршрутизацию, которая активирует только часть экспертов, но из-за недифференцируемости этого оператора число активных экспертов фиксировано, что приводит к неэффективному использованию вычислительных ресурсов.

SoftMoE решает эту проблему, предлагая мягкий дифференцируемый маршрутизатор. Это позволяет динамически выбирать количество активных экспертов в зависимости от входных данных, что повышает эффективность вычислений. Авторы утверждают, что их метод обеспечивает более гибкое и адаптивное масштабирование параметров моделей при сохранении качества.

Исследование показывает, что SoftMoE может значительно улучшить производительность языковых моделей, особенно при работе с большими объемами данных. Это открывает новые возможности для разработки более мощных и эффективных LLM, способных обрабатывать сложные задачи с минимальными вычислительными затратами.

Работа опубликована на arXiv и доступна для дальнейшего изучения и применения в практических задачах.

Источник: arXiv

Похожие материалы

arXiv · Модели и релизы Как оптимально обрезать экспертов в моделях MoE Исследователи предложили унифицированный подход к обрезке экспертов в моделях Mixture-of-Experts (MoE), что может существенно снизить память и вычислительные затраты при развёртывании таких моделей. В статье, опубликованной на arXiv, авторы отмечают, что хотя MoE-модели эффективно распределяют вычисления между экспертами, их развёртывание всё равно требует хранения полного пула экспертов. Это создаёт проблемы с памятью, особенно при использовании в агентных системах, где важна эффективность инференса. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. NVIDIA Technical Blog · Модели и релизы Как NVIDIA ускорила обучение MoE-моделей на 30% NVIDIA представила новые методы оптимизации обучения Mixture-of-Experts (MoE) моделей, которые стали ключевым компонентом современных ИИ-систем. Исследователи компании разработали продвинутые ядра слияния (fusion kernels), которые позволяют значительно ускорить процесс обучения. Hacker News · Машинное обучение Практическое руководство по дообучению LLM Исследователи представили подробное руководство по дообучению языковых моделей (LLM). Документ охватывает ключевые аспекты, включая выбор данных, настройку гиперпараметров и оценку результатов. Авторы подчеркивают важность качества данных и предлагают методы для минимизации шума и смещения. arXiv · Машинное обучение Исследование: как устранить избыточное рассуждение в LLM Учёные изучили проблему избыточного рассуждения (overthinking) в языковых моделях, когда они продолжают генерировать ненужные шаги после нахождения правильного ответа. Это явление особенно заметно в задачах, требующих длинных цепочек рассуждений (chain-of-thought reasoning). Hacker News · Исследования и наука Исследование: как LLMs справляются с юридическими рассуждениями Учёные из Стэнфорда и MIT провели исследование, посвящённое способности языковых моделей (LLMs) решать юридические задачи и автоматически формализовать правовые тексты. В работе, опубликованной на arXiv, авторы оценили точность и последовательность моделей в интерпретации законов и применении их к конкретным случаям. Hacker News · Оценка и бенчмарки Как оценивают LLM-судей с помощью возмущающих тестов Компания Forus представила метод оценки LLM-судей на основе возмущающих тестов. Подход позволяет проверять устойчивость моделей к различным типам искажений и ошибок, что критично для их использования в агентных системах. arXiv · Машинное обучение Инициализация параметров влияет на способности LLM Исследователи из MIT и других университетов выяснили, что инициализация параметров в больших языковых моделях (LLM) играет ключевую роль в их обучении и конечных способностях. В статье, опубликованной на arXiv, авторы утверждают, что уменьшение масштаба инициализации параметров улучшает предобучение моделей. Hugging Face - Blog · Модели и релизы Mellum2: новая 12-миллиардная модель от JetBrains для локального использования JetBrains представила Mellum2 — новую 12-миллиардную модель, основанную на архитектуре Mixture-of-Experts (MoE). Эта модель разработана для эффективного локального использования, что делает её особенно интересной для разработчиков ИИ-агентов, которым важна производительность на локальных устройствах.

← Все материалы