DeepMind представила новый подход к распределённому обучению нейронных сетей — Decoupled DiLoCo (Decoupled Distributed Learning with Communication). Этот метод позволяет значительно повысить устойчивость и эффективность обучения моделей в условиях ограниченной или ненадёжной связи между узлами. В отличие от традиционных методов, где синхронизация данных между узлами может стать узким местом, Decoupled DiLoCo использует асинхронный обмен информацией, что делает процесс обучения более гибким и устойчивым к сбоям.
Ключевое преимущество Decoupled DiLoCo заключается в его способности поддерживать стабильное обучение даже при потере связи между некоторыми узлами. Это особенно важно для распределённых систем, где узлы могут находиться в разных географических регионах или использовать ненадёжные каналы связи. DeepMind продемонстрировала эффективность своего подхода на различных задачах, включая обучение языковых моделей и моделей компьютерного зрения.
Для разработчиков ИИ-агентов, таких как Jarv, этот подход может быть полезен при создании распределённых систем, где агенты должны обучаться на основе данных, собранных из разных источников. Decoupled DiLoCo позволяет снизить зависимость от стабильной связи и повысить общую устойчивость системы. Кроме того, метод может быть использован для оптимизации процессов обучения на локальных устройствах, что особенно актуально для агентов, работающих в условиях ограниченных вычислительных ресурсов.
DeepMind планирует открыть исходный код Decoupled DiLoCo в ближайшее время, что позволит исследователям и разработчикам интегрировать этот метод в свои проекты. Это открывает новые возможности для создания более устойчивых и эффективных распределённых систем обучения, что может значительно ускорить развитие ИИ-агентов и других сложных систем искусственного интеллекта.