arXiv · 31.07.2026 ·Машинное обучение

GQ-FSL: новый метод обучения нейросетей для энергоэффективных edge-вычислений

Исследователи представили метод GQ-FSL (Green Quantized Federated Split Learning), оптимизирующий обучение глубоких нейронных сетей на мобильных устройствах. Технология сочетает федеративное и разделенное обучение с квантованием данных, что позволяет снизить нагрузку на вычислительные ресурсы и уменьшить объем передаваемой информации между устройствами и серверами, сохраняя при этом высокую точность моделей в условиях ограниченной энергии.

Традиционные подходы к федеративному обучению часто сталкиваются с проблемой избыточного энергопотребления при передаче промежуточных слоев модели. Метод GQ-FSL решает эту задачу за счет динамического квантования данных, передаваемых между «краевым» устройством и сервером. Это позволяет минимизировать сетевой трафик, не жертвуя качеством градиентов, необходимых для эффективного обновления весов нейросети.

Внедрение подобных подходов критически важно для развития систем машинного обучения на периферии (edge AI). Оптимизация коммуникационного протокола и вычислительных затрат открывает возможности для запуска сложных моделей непосредственно на смартфонах и IoT-устройствах, обеспечивая приватность данных за счет локальной обработки и снижая зависимость от централизованных облачных мощностей.

Ключевые факты

Метод GQ-FSL объединяет федеративное обучение (FL) и разделенное обучение (SL) для распределенной работы с нейросетями.
Квантование данных на уровне «разреза» (cut-layer) позволяет существенно сократить объем передаваемого трафика в беспроводных сетях.
Технология направлена на преодоление жестких ограничений по заряду аккумулятора и вычислительной мощности мобильных устройств.
Подход обеспечивает баланс между точностью модели и накладными расходами на коммуникацию между узлами сети.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение QFedAgent: квантовое ускорение для федеративного обучения в мультиагентных системах Исследователи представили QFedAgent — новый фреймворк для федеративного обучения, использующий квантовые вычисления для обработки данных в мультиагентных системах. Метод решает проблему неоднородности и неидентичности распределения данных (non-IID) в сенсорных сетях, повышая точность распознавания активности роботов при сохранении приватности. Решение демонстрирует эффективность в условиях сложной мультимодальной среды, где классические алгоритмы агрегации показывают низкую производительность. arXiv · Машинное обучение Новый метод генерации синтетических данных для федеративного обучения Исследователи представили новый подход к одношаговому федеративному обучению (OSFL), который решает проблему коммуникационных затрат при работе с неоднородными данными. Метод использует коллаборативную генерацию синтетических датасетов для передачи знаний между клиентами за один раунд обучения, что позволяет поддерживать высокую точность моделей даже при значительных различиях в распределении данных на устройствах пользователей. arXiv · Машинное обучение SLORR: новый метод обучения для эффективного сжатия нейросетей Исследователи представили SLORR — метод регуляризации при обучении, который упрощает низкоранговую факторизацию нейронных сетей. В отличие от существующих подходов, требующих дорогостоящего SVD-разложения или изменения архитектуры модели, SLORR позволяет эффективно сжимать веса без существенной потери точности, делая современные модели более компактными и пригодными для развертывания на устройствах с ограниченными ресурсами. Hacker News · Машинное обучение Новый математический подход снижает требования к «железу» для ИИ Исследователи предложили новый математический метод оптимизации вычислений, который позволяет значительно снизить нагрузку на аппаратное обеспечение при работе с нейросетями. Замена стандартных операций с плавающей запятой на альтернативные вычисления позволяет сократить потребление ресурсов GPU без потери точности моделей, что открывает путь к более эффективному инференсу на менее мощном оборудовании. arXiv · Машинное обучение Квантовые коммуникации для распределенного обучения нейросетей Исследователи представили новый метод оптимизации распределенного обучения моделей, основанный на принципах квантовых коммуникаций. В центре внимания оказался алгоритм Ring All-Reduce, который является стандартом для синхронизации градиентов между узлами при обучении нейросетей на кластерах. Использование квантовых каналов связи позволяет существенно снизить объем передаваемых данных между вычислительными узлами, сохраняя при этом высокую точность синхронизации параметров. arXiv · Машинное обучение Решение проблемы нестабильности обучения гибридных квантовых нейросетей Исследователи предложили метод стабилизации процесса обучения гибридных квантовых нейронных сетей (QNN), используемых для классификации белков. Основная сложность таких моделей заключается в том, что выходные данные квантовых измерений (логиты) ограничены диапазоном от -1 до 1. При использовании стандартной функции потерь кросс-энтропии в сочетании с нормализацией softmax это ограничение приводит к математической нестабильности и замедлению сходимости алгоритма. Hacker News · Машинное обучение Новый метод Quotient Tree Arithmetic для борьбы с затухающими градиентами Исследователи представили метод Quotient Tree Arithmetic (QTA), направленный на решение фундаментальной проблемы затухающих градиентов в глубоких нейронных сетях. Новый подход позволяет стабилизировать процесс обучения в архитектурах с большим количеством слоев, обеспечивая более эффективное распространение сигнала при обратном распространении ошибки. Это открывает возможности для создания более глубоких и стабильных моделей без использования стандартных механизмов нормализации. arXiv · Машинное обучение Новый метод оптимизации градиента для ускорения обучения нейросетей Исследователи представили метод Stochastic Gradient Optimization with Model-Assisted Sampling, направленный на снижение дисперсии при оценке стохастического градиента. Новый подход позволяет эффективнее балансировать между скоростью сходимости и качеством обобщения моделей, минимизируя шум, неизбежно возникающий при использовании стандартных мини-пакетных методов обучения в глубоком обучении. Hacker News · Исследования и наука Таблицы поиска как способ снижения энергопотребления нейросетей Исследователи предложили использовать таблицы поиска (lookup tables) вместо традиционных матричных вычислений для работы нейронных сетей. Этот метод позволяет значительно сократить количество операций с плавающей запятой, снижая энергозатраты на инференс. Технология ориентирована на создание более эффективных моделей, способных работать на устройствах с ограниченными ресурсами без потери точности предсказаний. Hacker News · Машинное обучение NVFP4: новый подход к обучению моделей с 4-битной точностью Исследователи представили метод NVFP4 (NVIDIA Floating Point 4), оптимизирующий обучение нейросетей с использованием 4-битной точности. Технология решает проблему нестабильности градиентов при экстремальном квантовании, позволяя значительно снизить требования к памяти и ускорить вычисления без существенной потери качества моделей. Это открывает возможности для более эффективного обучения крупных архитектур на ограниченном аппаратном обеспечении.

← Все материалы