Исследователи представили метод MUTE (Return-Preserving Communication Unlearning), направленный на повышение эффективности взаимодействия агентов в мультиагентном обучении с подкреплением (MARL). В условиях ограниченной пропускной способности каналов связи алгоритм позволяет агентам отсеивать избыточные сообщения, сохраняя при этом высокую результативность выполнения совместных задач, что критически важно для координации в средах с частичной наблюдаемостью.
Традиционные подходы к оптимизации коммуникации часто опираются на статистические суррогаты, которые не всегда коррелируют с итоговой эффективностью стратегии. Авторы MUTE предлагают механизм «разучивания» (unlearning) коммуникационных связей, который фокусируется на сохранении накопленной награды (return-preserving). Это позволяет системе динамически определять, какие сообщения действительно влияют на успех, а какие являются «шумом», потребляющим ресурсы сети.
Данный подход решает проблему баланса между объемом передаваемых данных и качеством координации. В отличие от методов, просто ограничивающих количество сообщений, MUTE анализирует вклад каждого сигнала в итоговое вознаграждение агентов. Это обеспечивает более стабильное обучение в сложных кооперативных играх, где агенты вынуждены действовать в условиях дефицита информации и жестких ограничений на пропускную способность.
Ключевые факты
- Метод MUTE использует стратегию «разучивания» для минимизации избыточного трафика между агентами.
- Алгоритм ориентирован на сохранение целевой награды (return) при сокращении объема коммуникаций.
- Решение предназначено для сред с частичной наблюдаемостью, где координация затруднена из-за ограничений пропускной способности.
- Подход превосходит существующие методы, опирающиеся на информационно-теоретические суррогаты, за счет прямой оптимизации полезности сообщений.