Исследователи представили алгоритм VRA-FedSGD, предназначенный для оптимизации федеративного обучения (Federated Learning) в распределенных системах. Метод направлен на решение проблем, возникающих при работе с данными на локальных устройствах, где градиентные шумы с «тяжелыми хвостами» и нестабильность каналов связи существенно снижают точность и скорость сходимости глобальных моделей.
В основе разработки лежит механизм снижения дисперсии (variance reduction), который позволяет эффективно фильтровать помехи, неизбежные при крупномасштабном обучении. В отличие от стандартных подходов, VRA-FedSGD сохраняет устойчивость даже при значительном уровне коммуникационного шума, что критически важно для обучения моделей на децентрализованных сетях с ограниченными ресурсами.
Предложенное решение позволяет повысить надежность обучения в условиях, когда данные распределены неравномерно, а сетевые соединения нестабильны. Алгоритм обеспечивает более стабильную сходимость, минимизируя влияние случайных факторов на процесс обновления весов модели, что открывает возможности для более эффективного развертывания ИИ-решений непосредственно на конечных устройствах без необходимости передачи конфиденциальной информации на центральный сервер.