Together.ai · 23.04.2026 ·Обучение и дообучение

Ускорение RL-тренировок на 50% с помощью DAS

Исследователи из Together AI предложили метод DAS (Distribution-Aware Speculative Decoding), который ускоряет процесс rollout в reinforcement learning (RL) на 50% без потери качества. Rollout — это этап, когда агент тестирует свои действия в среде, и он часто становится узким местом в обучении RL-моделей.

DAS использует адаптивное предсказание, которое анализирует распределение вероятностей и ускоряет генерацию действий. Это позволяет значительно сократить время обучения, не жертвуя качеством результата.

Метод может быть полезен для разработчиков, работающих с RL-агентами, особенно в задачах, где скорость обучения критична. Together AI отмечает, что DAS не требует дополнительных вычислений и легко интегрируется в существующие RL-системы.

Подробнее о технологии можно прочитать в блоге Together AI.

Источник: Together.ai

Похожие материалы

arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Оркестрация агентов DoorDash адаптирует веса целей в трёхстороннем маркетплейсе через RL Исследователи из DoorDash представили систему reinforcement learning, которая адаптирует веса целей в трёхстороннем маркетплейсе (курьеры, заказчики, рестораны) на основе задержанной обратной связи. Система оценивает решения по таким метрикам, как скорость доставки, использование курьеров и загруженность ресторанов. Together.ai · Инференс и железо Новый метод ускоряет диффузионные языковые модели в 14 раз Исследователи из Together AI представили Consistency Diffusion Language Models (CDLM) — метод, который ускоряет работу диффузионных языковых моделей в 14,5 раза без потери качества. arXiv · Обучение и дообучение Новый метод для эффективного онлайн-обучения визуально-языковых агентов Исследователи предложили новый подход к онлайн-обучению визуально-языковых агентов (VLA) с использованием методов reinforcement learning (RL). В статье, опубликованной на arXiv, они описывают метод Hierarchical Advantage Weighting (HAW), который решает проблему редких и неинформативных сигналов обратной связи в процессе обучения. Hacker News · Обучение и дообучение GoLongRL: новый подход к обучению агентов с длинным контекстом Исследователи из XiaoxuanNLP представили GoLongRL — фреймворк для обучения агентов с длинным контекстом, основанный на подходе reinforcement learning (RL). В отличие от традиционных методов, GoLongRL фокусируется на способностях (capabilities) агентов, а не на конкретных задачах, что позволяет лучше адаптироваться к новым сценариям. arXiv · Инфраструктура для агентов Новый метод декодирования для ускорения работы ИИ-агентов Исследователи из MIT и Google Research предложили новый подход к декодированию в языковых моделях, который может значительно ускорить работу ИИ-агентов. В статье, опубликованной на arXiv, они представляют метод Mean-Field Parallel Decoding, который позволяет генерировать токены параллельно, минимизируя задержки. Together.ai · Инференс и железо Aurora: фреймворк для самоподдерживающегося speculative decoding Together AI представила Aurora — открытый фреймворк для reinforcement learning (RL), который преобразует speculative decoding из одноразовой настройки в самоулучшающуюся систему. Aurora обучается на каждом запросе, что позволяет повысить производительность модели на 25% по сравнению с традиционными методами. Google DeepMind News · Обучение и дообучение Decoupled DiLoCo от DeepMind для устойчивого распределённого обучения DeepMind представила новый подход к распределённому обучению нейронных сетей — Decoupled DiLoCo (Decoupled Distributed Learning with Communication). Этот метод позволяет значительно повысить устойчивость и эффективность обучения моделей в условиях ограниченной или ненадёжной связи между узлами. В отличие от традиционных методов, где синхронизация данных между узлами может стать узким местом, Decoupled DiLoCo использует асинхронный обмен информацией, что делает процесс обучения более гибким и устойчивым к сбоям. arXiv · Инференс и железо Как снизить задержки в системах с потоковыми данными Исследователи из MIT и Google предложили новый подход к обработке потоковых данных в системах машинного обучения, который может существенно снизить задержки и нагрузку на серверы. В статье, опубликованной на arXiv, они описывают метод, который отделяет процесс инференса от обновления состояния, используя вероятностное прореживание (probabilistic thinning). Hugging Face - Blog · Инференс и железо Синхронизация дельта-весов для запуска гигантских моделей Команда Hugging Face представила новую технологию Delta Weight Sync в TRL (Transformers Reinforcement Learning), которая позволяет эффективно синхронизировать веса моделей с триллионами параметров. Это особенно важно для локального запуска крупных моделей, где традиционные методы требуют значительных вычислительных ресурсов.

← Все материалы