arXiv · 26.06.2026 ·Машинное обучение

Фреймворк для распределения вознаграждений в кооперативных ИИ-системах

Исследователи представили методологию распределения наград в кооперативных ИИ-системах, где агенты действуют от лица пользователей. Новый подход внедряет механизм «ценностно-обусловленной фильтрации градиентов», который позволяет учитывать индивидуальные этические ограничения каждого участника при обновлении глобальных моделей. Это обеспечивает прозрачность вклада данных и гарантирует, что обучение системы соответствует заданным профилям ценностей всех вовлеченных сторон.

В условиях делегированного обучения, когда агенты участвуют в коллективном обновлении моделей, возникает проблема справедливого распределения кредита за вклад. Традиционные методы часто игнорируют разнородные предпочтения пользователей, что может приводить к конфликтам интересов. Предложенный алгоритм оценивает каждое обновление модели на предмет допустимости, отсеивая те изменения, которые противоречат ценностным установкам конкретных принципалов, участвующих в кооперации.

Система решает задачу кредитного распределения (credit assignment) в динамической среде, где данные поступают от множества независимых источников. Использование фильтрации градиентов в режиме реального времени позволяет системе адаптироваться к меняющимся требованиям пользователей, сохраняя при этом эффективность обучения. Такой подход открывает возможности для создания более безопасных и персонализированных децентрализованных систем машинного обучения, где интересы человека остаются приоритетными на каждом этапе обновления весов модели.

Ключевые факты

Разработан фреймворк для распределения вознаграждений в кооперативах, где агенты представляют интересы людей.
Внедрена технология ценностно-обусловленной фильтрации градиентов (value-conditioned gradient filtering).
Система автоматически блокирует обновления модели, не соответствующие заданным профилям ценностей участников.
Метод позволяет эффективно управлять вкладом данных в условиях гетерогенных ограничений пользователей.
Решение направлено на повышение прозрачности и этичности в процессах коллективного обучения ИИ.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов Фреймворк для самообучения ИИ-агентов через фиксацию паттернов Разработчики представили инструмент для автоматического накопления опыта ИИ-агентами. Система позволяет модели анализировать собственные успешные действия и сохранять их в виде переиспользуемых навыков. Это решает проблему повторения одних и тех же ошибок, позволяя агенту формировать базу знаний из накопленного опыта без необходимости постоянного дообучения или ручного промпт-инжиниринга для каждой новой задачи. Engineering at Meta · Данные и инжиниринг Инфраструктура классификации данных для обеспечения приватности в ИИ-системах Meta (признана экстремистской организацией, деятельность запрещена в РФ) представила подход к автоматизированной классификации активов данных, необходимый для работы систем приватности в эпоху ИИ. Инженеры разработали фреймворк, который позволяет ИИ-моделям корректно интерпретировать контекст данных, обеспечивая соблюдение политик хранения, доступа и анонимизации, что критически важно для предотвращения утечек конфиденциальной информации при обучении и инференсе моделей. arXiv · Машинное обучение Новый метод обучения с подкреплением для задач с разреженными наградами Исследователи представили метод Success Visitation Matching, решающий проблему неэффективного обучения моделей в условиях разреженных наград. В стандартных сценариях обучения с подкреплением агент получает сигнал о полезности действия только при достижении конечной цели, что делает процесс поиска оптимальной стратегии крайне медленным и нестабильным. Новый подход позволяет модели лучше распределять кредит за промежуточные действия, опираясь на вероятность посещения состояний, ведущих к успеху. GitHub · Инфраструктура для агентов Экосистема для обучения ИИ-агентов через итеративные рабочие процессы Проект Forsy-AI представил фреймворк Agent Apprenticeship, ориентированный на создание среды, в которой ИИ-агенты совершенствуют свои навыки в процессе выполнения реальных задач. Основная идея заключается в использовании итеративных циклов рабочих процессов, где система не просто выполняет поручение, а анализирует результат для последующей корректировки действий. arXiv · Машинное обучение Fed-CausalDiff: новый подход к федеративному обучению и причинно-следственному выводу Исследователи представили фреймворк Fed-CausalDiff, объединяющий методы федеративного обучения с принципами причинно-следственного вывода (causal inference). Традиционные подходы к распределенному обучению моделей фокусируются на анализе исторических данных, что ограничивает их способность предсказывать последствия действий в динамических средах. Новый метод решает эту проблему, позволяя моделям оценивать влияние различных стратегий без необходимости централизации конфиденциальной информации. arXiv · Машинное обучение Themis: фреймворк для интерпретируемого обучения с подкреплением на основе отзывов людей Исследователи представили Themis — новый фреймворк для обучения с подкреплением (RLHF), объединяющий прозрачность объяснимого ИИ (XAI) и механизмы обратной связи от человека. Система направлена на решение проблемы непредсказуемого поведения моделей, позволяя разработчикам не только корректировать действия агентов, но и понимать логику принятия решений, что критически важно для создания безопасных и контролируемых автономных систем. arXiv · Машинное обучение Новый подход к устранению предвзятости в моделях машинного обучения Исследователи представили методологию борьбы с предвзятостью в алгоритмах, которая учитывает пересечение нескольких защищаемых атрибутов, таких как раса и гендер. Традиционные методы часто не справляются с ситуациями, когда дискриминация проявляется только при сочетании нескольких факторов, что приводит к снижению точности моделей для определенных групп населения. Основная проблема заключается в нехватке репрезентативных данных для таких подгрупп и отсутствии четких математических метрик для оценки справедливости. Hacker News · Инфраструктура для агентов Flower Labs развивает инфраструктуру для федеративного обучения ИИ Компания Flower Labs представила обновленную концепцию развития федеративного обучения, направленную на переход от изолированных моделей к распределенным коллаборативным сетям. Платформа позволяет обучать ИИ на данных, распределенных между тысячами устройств, без необходимости их централизации. Это решение критически важно для создания масштабируемых агентных систем, требующих обучения на приватных пользовательских данных в реальном времени. arXiv · Оркестрация агентов Новый метод обучения агентов для работы с графическими интерфейсами Исследователи представили подход к обучению агентов (Computer-Use Agents), способных выполнять задачи в графических интерфейсах через подкрепляющее обучение. Основная проблема — отсутствие масштабируемых сигналов вознаграждения в десктопных средах — решена с помощью системы автономной оценки. Это позволяет агентам обучаться достижению целей, опираясь на визуальное подтверждение успеха без необходимости ручной разметки данных или создания сложных функций вознаграждения. arXiv · Память и RAG Метод накопления преимуществ для самообучения ИИ-агентов Исследователи представили новый подход к обучению ИИ-агентов, основанный на механизме накопления маржинальных преимуществ (Marginal Advantage Accumulation). Метод решает проблему противоречивой обратной связи, возникающей при пакетной дистилляции траекторий, когда одни и те же операции с памятью получают разные оценки эффективности в разных итерациях обучения.

← Все материалы