Исследователи представили новый подход к одношаговому федеративному обучению (OSFL), который решает проблему коммуникационных затрат при работе с неоднородными данными. Метод использует коллаборативную генерацию синтетических датасетов для передачи знаний между клиентами за один раунд обучения, что позволяет поддерживать высокую точность моделей даже при значительных различиях в распределении данных на устройствах пользователей.

Традиционные методы федеративного обучения требуют многократного обмена параметрами между сервером и клиентами, что создает высокую нагрузку на сеть. В предложенном решении сервер агрегирует знания через создание компактных синтетических наборов данных, которые отражают ключевые характеристики локальных выборок. Это позволяет центральной модели эффективно обучаться без необходимости многократных итераций, сохраняя при этом конфиденциальность исходных данных.

Технология ориентирована на сценарии, где пропускная способность сети ограничена, а данные на клиентских устройствах сильно различаются (non-IID). Использование синтетических данных в качестве посредника для передачи знаний снижает требования к инфраструктуре, не жертвуя при этом качеством итоговой модели. Метод демонстрирует эффективность в задачах, где критически важна минимизация трафика при сохранении высокой производительности нейросетей.

Ключевые факты

  • Метод фокусируется на одношаговом федеративном обучении (OSFL), минимизируя количество раундов обмена данными.
  • Основная проблема, решаемая разработкой — расхождение распределений данных (non-IID) между различными клиентами.
  • Подход использует синтетические данные для агрегации знаний на сервере, что исключает необходимость передачи сырых данных.
  • Решение направлено на снижение коммуникационных издержек при сохранении точности модели на уровне многораундовых систем.