arXiv · 21.06.2026 ·Машинное обучение

Fed-CausalDiff: новый подход к федеративному обучению и причинно-следственному выводу

Исследователи представили фреймворк Fed-CausalDiff, объединяющий методы федеративного обучения с принципами причинно-следственного вывода (causal inference). Традиционные подходы к распределенному обучению моделей фокусируются на анализе исторических данных, что ограничивает их способность предсказывать последствия действий в динамических средах. Новый метод решает эту проблему, позволяя моделям оценивать влияние различных стратегий без необходимости централизации конфиденциальной информации.

В основе разработки лежит использование диффузионных моделей для имитации интервенций (do-simulation). Это позволяет системе моделировать, как последовательные действия агентов меняют будущие состояния среды, даже если данные распределены между множеством независимых узлов. Такой подход критически важен для задач, где требуется оценка политики управления, например, в автоматизированных системах принятия решений или при оптимизации сложных процессов в условиях ограниченного доступа к данным.

Технология предлагает механизм децентрализованной синхронизации, который минимизирует передачу данных между участниками, сохраняя при этом точность оценки причинно-следственных связей. Разработка открывает возможности для более эффективного обучения моделей в распределенных сетях, где критически важна не только точность прогнозов, но и понимание того, как конкретные вмешательства влияют на долгосрочные результаты системы.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Новый метод обучения мультиагентных систем для принятия решений Исследователи представили метод Multi-Agent Fictitious Play, направленный на улучшение навыков принятия решений в мультиагентных системах на базе больших языковых моделей. Традиционный подход «разделяй и властвуй», при котором сложные задачи разбиваются на независимые подзадачи, оказался недостаточно эффективным для сценариев, требующих учета интересов всех сторон одновременно. Новый алгоритм позволяет агентам моделировать поведение оппонентов и партнеров, имитируя процесс стратегического взаимодействия. arXiv · Исследования и наука DIPHINE: новый метод анализа информационных систем через диффузионные модели Исследователи представили DIPHINE (Diffusion-based Φ-ID Neural Estimator) — новый вычислительный метод для анализа сложных систем. В основе работы лежит фреймворк Φ-ID (Integrated Information Decomposition), который позволяет разделять динамику данных на 16 независимых компонентов. Эти компоненты описывают, как именно информация хранится, распределяется и интегрируется внутри многомерных систем с течением времени. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве. arXiv · Машинное обучение Новый метод повышения устойчивости многоагентных систем в условиях неточных моделей Исследователи представили новый математический подход к решению проблемы расхождения данных между тренировочными симуляторами и реальной средой в многоагентном обучении с подкреплением (MARL). В реальных условиях разрыв между моделью и действительностью часто приводит к резкому падению производительности агентов, так как стратегическое взаимодействие между ними усиливает любые ошибки прогнозирования. Авторы работы предлагают использовать принципы дистрибутивной робастности для оптимизации стратегий. arXiv · Машинное обучение Новый подход к обнаружению дрейфа концептов в потоковых данных Исследователи представили метод обнаружения концептуального дрейфа (concept drift), основанный на анализе поведения моделей машинного обучения в динамических средах. Проблема дрейфа возникает, когда статистические свойства целевой переменной меняются со временем, что приводит к постепенному снижению точности алгоритмов, работающих с потоковыми данными. Традиционные методы часто полагаются на мониторинг распределения входных данных, однако новый подход фокусируется на отслеживании изменений в самой обучаемости модели. arXiv · Обучение и дообучение Новый фреймворк для обучения ИИ-агентов в условиях зависимости данных Исследователи из Arxiv представили новый фреймворк для обучения ИИ-агентов, который учитывает зависимость данных. В статье "Learning with Simulators: No Regret in a Computationally Bounded World" авторы рассматривают минимальные предположения, необходимые для генерализации в условиях, где данные не являются независимыми. Это особенно важно для ИИ-агентов, которые часто работают с последовательными или взаимосвязанными данными, например, в задачах планирования или взаимодействия с окружающей средой. arXiv · Машинное обучение Исследование влияния позиционного смещения в методах дистилляции моделей Исследователи проанализировали эффективность метода On-Policy Distillation (OPD), который используется для ускорения обучения моделей с подкреплением через пошаговый контроль со стороны «учителя». Стандартный подход предполагает равномерное распределение весов для всех токенов при расчете функции потерь, однако новая работа доказывает, что такой метод не учитывает накопленные ошибки в длинных последовательностях. arXiv · Исследования и наука Новый подход к формальному доказательству теорем с помощью диффузионных моделей Исследователи представили метод Diffusion-Proof, направленный на преодоление ограничений стандартных авторегрессионных языковых моделей в задачах формальной математики. Традиционные модели, предсказывающие следующий токен, часто сталкиваются с трудностями при построении длинных логических цепочек, необходимых для верификации сложных математических доказательств. Новый подход переносит принципы диффузионных процессов в область формального вывода, позволяя моделям более эффективно исследовать пространство возможных доказательств. arXiv · Машинное обучение Новый метод обучения ИИ в распределённых системах Исследователи представили новый подход к обучению машинных моделей в распределённых системах, учитывающий изменения данных во времени и пространстве. Метод C2FL (Clustered Continual Federated Learning) позволяет узлам системы обучаться на локальных данных, сохраняя приватность и адаптируясь к изменениям в окружающей среде. arXiv · Машинное обучение Метод динамического объединения моделей без дообучения Исследователи представили новый подход к объединению нескольких специализированных нейросетевых экспертов в одну многозадачную модель. Традиционные методы слияния весов часто сталкиваются с проблемой интерференции параметров, когда знания одной модели конфликтуют с другой, что приводит к снижению точности по сравнению с исходными узкоспециализированными версиями.

← Все материалы