arXiv · 01.07.2026 ·Машинное обучение

Новый фреймворк для глубокого многозадачного обучения с разнородными данными

Исследователи представили фреймворк для многозадачного обучения, решающий проблему несовместимости функций потерь при работе с разнородными типами данных. Метод использует общую разреженность (shared sparsity) для эффективного обмена информацией между задачами, что позволяет объединить разнотипные целевые переменные в единую оптимизационную задачу и повысить точность предсказаний в сложных системах с множественными исходами.

Традиционные подходы к многозадачному обучению часто сталкиваются с трудностями при объединении метрик, если задачи имеют разные масштабы или типы данных (например, регрессия и классификация одновременно). В таких случаях функции потерь сложно сопоставить, что ограничивает возможности модели по извлечению общих признаков из обучающей выборки. Предложенная трансформация нормализует эти различия, создавая единое пространство для обучения.

Использование общей разреженности позволяет модели выделять наиболее значимые признаки, которые релевантны сразу для нескольких задач. Это не только упрощает архитектуру нейронной сети, но и предотвращает переобучение на специфических для каждой задачи шумах. Такой подход особенно эффективен в сценариях, где объем данных для отдельных задач ограничен, но существует скрытая корреляция между ними.

Ключевые факты

Разработан фреймворк для унификации функций потерь при работе с разнородными типами исходов.
Метод опирается на концепцию общей разреженности (shared sparsity) для эффективного обмена знаниями между задачами.
Решение устраняет необходимость в подборе специфических весов для каждой функции потерь вручную.
Подход позволяет интегрировать задачи с различными типами данных в рамках единого процесса обучения без потери точности.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Повышение устойчивости нейросетевых алгоритмов реконструкции данных Исследователи представили новый фреймворк для решения обратных задач в машинном обучении, использующий методы дистрибутивно-робастной оптимизации (DRO). Подход позволяет нейросетям сохранять точность реконструкции даже при значительных отклонениях характеристик шума в тестовых данных от тех, что использовались при обучении, решая проблему слабой обобщающей способности стандартных моделей в условиях изменчивой среды. arXiv · Исследования и наука Математическая теория подсчета функций для низкоразмерных данных Исследователи представили новую математическую модель для анализа бинарной классификации, опирающуюся на классическую теорию подсчета функций Ковера 1965 года. Работа объясняет эффективность глубокого обучения через наличие скрытых низкоразмерных структур в данных. Предложенный фреймворк позволяет точнее оценивать емкость моделей и их способность к обобщению при работе с высокоразмерными наборами данных, имеющими простую внутреннюю геометрию. arXiv · Исследования и наука Новая теория объясняет способность нейросетей к обобщению через информационные узкие места Исследователи предложили теоретическую модель, объясняющую, почему перепараметризованные нейронные сети успешно обучаются без катастрофического переобучения. Авторы вводят понятие «информационной фрустрации» в нейронных многообразиях, используя теорию Шеннона для анализа того, как архитектуры с избыточными параметрами эффективно сжимают данные, преодолевая ограничения классических статистических подходов, таких как размерность Вапника-Червоненкиса. arXiv · Машинное обучение Новый метод масштабируемого слияния предобученных трансформеров Исследователи представили фреймворк, позволяющий эффективно объединять веса независимо обученных нейронных сетей через линейную связность мод (Linear Mode Connectivity, LMC). Ранее подобные методы были ограничены в масштабируемости, так как оптимизация пути интерполяции проводилась только от одной конечной точки модели. Новый подход снимает эти ограничения, позволяя применять слияние к крупным предобученным трансформерам с миллиардами параметров. arXiv · Машинное обучение Новый метод обучения нейросетей через разделение амплитуды и направления весов Исследователи предложили метод оптимизации нейронных сетей, разделяющий весовые матрицы на два независимых компонента: амплитуду и направление. Традиционные оптимизаторы, такие как Adam или Muon, обрабатывают веса как единое целое, что ограничивает гибкость обучения. Новый подход позволяет динамически управлять этими параметрами, повышая эффективность сходимости и стабильность процесса обучения глубоких архитектур в различных задачах машинного обучения. arXiv · Инфраструктура для агентов BluTrain: новый C++/CUDA фреймворк для оптимизации обучения нейросетей Представлен BluTrain — специализированный фреймворк на C++ и CUDA, предназначенный для глубокой оптимизации процессов обучения нейросетей. Инструмент позволяет разработчикам контролировать взаимодействие архитектуры модели с аппаратным обеспечением, обеспечивая высокую пропускную способность и эффективное использование памяти. Решение фокусируется на системном инжиниринге, который становится определяющим фактором производительности при масштабировании современных ИИ-систем. arXiv · Машинное обучение Метод автоматической замены фона для повышения устойчивости нейросетей Исследователи представили новый метод борьбы со «случайными корреляциями» в компьютерном зрении, которые заставляют модели опираться на нерелевантные детали фона вместо ключевых объектов. Автоматическая замена фонового изображения в процессе обучения позволяет нейросетям игнорировать контекстный «шум» и фокусироваться на причинно-следственных признаках, что значительно повышает точность классификации при работе с новыми, нетипичными данными. Hacker News · Обучение и дообучение Дистилляция знаний из закрытых LLM: новый подход к обучению компактных моделей Исследователи представили метод дистилляции знаний из «черных ящиков» — проприетарных больших языковых моделей — для обучения более компактных и эффективных нейросетей. Подход позволяет переносить сложные логические способности и лингвистические навыки от гигантских моделей к меньшим архитектурам, сохраняя высокую производительность при значительном снижении требований к вычислительным ресурсам и затратам на инференс. arXiv · Машинное обучение Новый метод выявления скрытых групп данных для повышения точности моделей Исследователи представили новый подход к решению проблемы ложных корреляций в машинном обучении. Современные модели часто показывают высокую среднюю точность, но допускают критические ошибки на недостаточно представленных подгруппах данных. Традиционные методы борьбы с этим явлением обычно требуют либо предварительной разметки подгрупп, либо использования псевдометок, которые не дают интерпретируемого результата на этапе инференса. arXiv · Машинное обучение FedReLa: новый метод борьбы с дисбалансом данных в федеративном обучении Исследователи представили FedReLa — алгоритм для федеративного обучения, решающий проблему дисбаланса классов при распределенных вычислениях. Метод использует стратегию переразметки данных (re-labeling) для компенсации различий между локальными распределениями на клиентских устройствах и глобальным набором данных. Это позволяет значительно повысить точность агрегированных моделей в условиях неоднородности данных и отсутствия доступа к централизованной статистике.

← Все материалы