arXiv · 24.06.2026 ·Машинное обучение

FedReLa: новый метод борьбы с дисбалансом данных в федеративном обучении

Исследователи представили FedReLa — алгоритм для федеративного обучения, решающий проблему дисбаланса классов при распределенных вычислениях. Метод использует стратегию переразметки данных (re-labeling) для компенсации различий между локальными распределениями на клиентских устройствах и глобальным набором данных. Это позволяет значительно повысить точность агрегированных моделей в условиях неоднородности данных и отсутствия доступа к централизованной статистике.

Федеративное обучение часто сталкивается с деградацией производительности, когда данные на разных узлах сильно различаются по составу классов. Традиционные подходы не учитывают, что локальный дисбаланс может противоречить глобальному, что искажает веса модели при агрегации. FedReLa вводит механизм динамической корректировки меток, который адаптируется к специфике каждого клиента, не нарушая при этом принципы конфиденциальности, так как исходные данные не покидают устройства.

Предложенный подход минимизирует влияние «шумных» или нерепрезентативных локальных обновлений на общую модель. В ходе экспериментов метод продемонстрировал устойчивость к высокой степени гетерогенности данных, что критически важно для развертывания ИИ-систем в распределенных сетях, таких как мобильные устройства или периферийные вычисления (edge computing), где сбор данных в едином центре невозможен по соображениям приватности.

Ключевые факты

FedReLa решает проблему несовпадения локального и глобального распределения классов в федеративном обучении.
Метод использует стратегию переразметки для коррекции весов модели без передачи сырых данных на сервер.
Алгоритм повышает точность обучения в условиях высокой неоднородности данных между клиентами.
Исследование направлено на устранение деградации моделей, возникающей из-за агностицизма глобального распределения классов.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Новый алгоритм VRA-FedSGD для федеративного обучения в условиях шума Исследователи представили алгоритм VRA-FedSGD, предназначенный для оптимизации федеративного обучения (Federated Learning) в распределенных системах. Метод направлен на решение проблем, возникающих при работе с данными на локальных устройствах, где градиентные шумы с «тяжелыми хвостами» и нестабильность каналов связи существенно снижают точность и скорость сходимости глобальных моделей. arXiv · Машинное обучение Fed-CausalDiff: новый подход к федеративному обучению и причинно-следственному выводу Исследователи представили фреймворк Fed-CausalDiff, объединяющий методы федеративного обучения с принципами причинно-следственного вывода (causal inference). Традиционные подходы к распределенному обучению моделей фокусируются на анализе исторических данных, что ограничивает их способность предсказывать последствия действий в динамических средах. Новый метод решает эту проблему, позволяя моделям оценивать влияние различных стратегий без необходимости централизации конфиденциальной информации. Hacker News · Инфраструктура для агентов Flower Labs развивает инфраструктуру для федеративного обучения ИИ Компания Flower Labs представила обновленную концепцию развития федеративного обучения, направленную на переход от изолированных моделей к распределенным коллаборативным сетям. Платформа позволяет обучать ИИ на данных, распределенных между тысячами устройств, без необходимости их централизации. Это решение критически важно для создания масштабируемых агентных систем, требующих обучения на приватных пользовательских данных в реальном времени. arXiv · Машинное обучение Giskard: новый метод безопасного децентрализованного обучения моделей Исследователи представили Giskard — протокол для децентрализованного машинного обучения, который решает проблему одновременного обеспечения конфиденциальности данных и защиты от вредоносных узлов. В распределенных системах клиенты обучают модели локально, обмениваясь параметрами или градиентами с соседями. Традиционные подходы часто сталкиваются с конфликтом: методы защиты приватности, такие как дифференциальная приватность или шифрование, затрудняют выявление «византийских» атак, при которых участники сети намеренно передают искаженные данные для саботажа обучения. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве. arXiv · Машинное обучение Повышение устойчивости диффузионных моделей к зашумленным данным Исследователи предложили новый метод обучения диффузионных моделей, который делает их более устойчивыми к загрязненным обучающим выборкам. Традиционный подход, основанный на минимизации среднеквадратичной ошибки (MSE), часто оказывается чувствительным к выбросам и некачественным данным, что снижает итоговое качество генерации контента. arXiv · Машинное обучение Метод декомпозиции задач для повышения эффективности разметки данных Исследователи представили новый подход к разметке структурированных данных, основанный на декомпозиции сложных задач на более простые подзадачи. Метод позволяет значительно снизить затраты на создание качественных обучающих выборок, минимизируя необходимость в дорогостоящей ручной проверке результатов, полученных с помощью моделей, и повышая общую точность разметки для последующего обучения downstream-моделей. arXiv · Машинное обучение Новый подход к устранению предвзятости в моделях машинного обучения Исследователи представили методологию борьбы с предвзятостью в алгоритмах, которая учитывает пересечение нескольких защищаемых атрибутов, таких как раса и гендер. Традиционные методы часто не справляются с ситуациями, когда дискриминация проявляется только при сочетании нескольких факторов, что приводит к снижению точности моделей для определенных групп населения. Основная проблема заключается в нехватке репрезентативных данных для таких подгрупп и отсутствии четких математических метрик для оценки справедливости. arXiv · Память и RAG ReGrad: постобучение без потери знаний Исследователи из MIT и Google Research предложили новый подход к постобучению моделей, который решает проблему накопления весового дрейфа. В работе «Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift» авторы вводят концепцию ReGrad — метода, позволяющего моделям обновляться после развертывания без потери ранее усвоенных знаний. arXiv · Машинное обучение Новый метод выявления скрытых групп данных для повышения точности моделей Исследователи представили новый подход к решению проблемы ложных корреляций в машинном обучении. Современные модели часто показывают высокую среднюю точность, но допускают критические ошибки на недостаточно представленных подгруппах данных. Традиционные методы борьбы с этим явлением обычно требуют либо предварительной разметки подгрупп, либо использования псевдометок, которые не дают интерпретируемого результата на этапе инференса.

← Все материалы