Команда PyTorch анонсировала Miles — специализированный программный стек, предназначенный для обучения LLM с использованием обучения с подкреплением (RL) на больших кластерах. Решение оптимизировано для работы с распределенными вычислениями, обеспечивая высокую эффективность при выполнении сложных задач пост-тренинга, таких как настройка моделей на следование инструкциям и выравнивание с предпочтениями пользователей.
Miles решает проблему сложности инфраструктуры при масштабировании алгоритмов RL, таких как PPO или DPO. Стек интегрируется напрямую в экосистему PyTorch, что позволяет разработчикам использовать привычные инструменты для управления распределенными процессами. Основной упор сделан на минимизацию накладных расходов при передаче данных между этапами генерации ответов моделью и обновлением её весов, что критически важно для обучения на терабайтах данных.
Использование Miles позволяет сократить время итерации при дообучении моделей, обеспечивая стабильность обучения на тысячах GPU. Архитектура стека поддерживает гибкую настройку стратегий сбора данных и оптимизацию градиентного спуска, что делает его подходящим инструментом для создания специализированных моделей с глубокой специализацией в конкретных доменах.
Ключевые факты
- Miles спроектирован как нативный стек для PyTorch, обеспечивающий бесшовную интеграцию с существующими пайплайнами обучения.
- Система оптимизирована для крупномасштабного обучения с подкреплением (RL), включая поддержку алгоритмов PPO и DPO.
- Архитектура сфокусирована на устранении узких мест при распределенных вычислениях на кластерах с большим количеством GPU.
- Инструментарий позволяет значительно ускорить цикл пост-тренинга LLM, сохраняя при этом высокую стабильность процесса обучения.