Команда Pluralis продемонстрировала возможность проведения пост-тренировки языковых моделей с использованием обучения с подкреплением (RL) на распределенной инфраструктуре из 14 компьютеров Mac, расположенных в четырех странах. Эксперимент доказал эффективность использования потребительского оборудования Apple Silicon для решения сложных задач дообучения, которые традиционно требуют мощных серверных кластеров с GPU.
В основе подхода лежит использование чипов Apple M-серии, которые благодаря архитектуре объединенной памяти позволяют эффективно работать с весами моделей и градиентами. Для синхронизации вычислений между узлами, находящимися в разных географических точках, использовались специализированные протоколы передачи данных, минимизирующие задержки при обмене параметрами модели. Это решение открывает путь к децентрализованному обучению ИИ, снижая порог входа для исследователей, не имеющих доступа к дорогостоящим дата-центрам.
Техническая реализация потребовала адаптации пайплайнов обучения под специфику macOS и фреймворков, оптимизированных для Metal. Авторы проекта сфокусировались на оптимизации процесса передачи состояний агента и наград, что позволило поддерживать стабильную скорость обучения даже при нестабильном интернет-соединении между узлами в разных странах. Данный кейс подтверждает жизнеспособность распределенных вычислений на гетерогенном железе для задач, связанных с агентным обучением.
Ключевые факты
- Инфраструктура состояла из 14 компьютеров Mac, распределенных по 4 странам.
- Использовался метод обучения с подкреплением (RL) для пост-тренировки LLM.
- Архитектура объединенной памяти чипов Apple Silicon позволила эффективно обрабатывать веса моделей.
- Эксперимент подтвердил возможность масштабирования обучения на потребительском оборудовании без использования специализированных GPU-кластеров.