arXiv · 29.07.2026 ·Машинное обучение

TreeCCA: новый метод канонического корреляционного анализа на градиентном бустинге

Исследователи представили TreeCCA — первый метод, позволяющий обучать ансамбли деревьев решений с градиентным бустингом в качестве энкодеров для канонического корреляционного анализа (CCA). Новый подход заменяет традиционные линейные или нейросетевые архитектуры, обеспечивая высокую производительность на табличных данных без необходимости сложной настройки гиперпараметров и проектирования архитектуры нейронных сетей.

Традиционно CCA опирался на линейные преобразования или глубокое обучение, что часто требовало значительных усилий по подбору архитектуры и настройке параметров. TreeCCA переносит преимущества градиентного бустинга — доминирующего метода в работе с табличными данными — в область CCA. Метод позволяет проводить обучение «end-to-end», сохраняя при этом привычную для специалистов по анализу данных надежность и простоту использования стандартных библиотек бустинга.

Интеграция деревьев решений в структуру CCA открывает новые возможности для анализа сложных зависимостей между наборами данных. Поскольку градиентный бустинг эффективно обрабатывает пропущенные значения, категориальные признаки и нелинейные связи, TreeCCA демонстрирует высокую эффективность «из коробки». Это снижает порог входа для задач поиска корреляций между многомерными пространствами признаков, делая процесс более предсказуемым и менее ресурсоемким по сравнению с глубокими нейронными сетями.

Ключевые факты

TreeCCA является первым методом, реализующим CCA через ансамбли деревьев с градиентным бустингом.
Метод исключает необходимость проектирования сложной архитектуры энкодеров, характерной для нейросетевых подходов.
Реализация обеспечивает высокую производительность с использованием стандартных гиперпараметров, что упрощает внедрение в существующие пайплайны.
Подход ориентирован на эффективную работу с табличными данными, где градиентный бустинг традиционно показывает лучшие результаты по сравнению с другими методами машинного обучения.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Градиентный бустинг с векторными листьями: новый подход к многомерным задачам Исследователи представили метод градиентного бустинга, использующий векторные значения в листьях деревьев решений вместо традиционных скалярных предсказаний. Этот подход позволяет более эффективно оптимизировать сложные целевые функции, работающие с векторами, что значительно расширяет возможности классических ансамблевых моделей в задачах многоклассовой классификации и других многомерных сценариях, требующих одновременной обработки нескольких зависимых переменных. arXiv · Машинное обучение Метод SP-CACW для эффективного федеративного обучения Исследователи представили метод SP-CACW (Convergence-Aware Client Weighting), решающий проблему неэффективности стандартного федеративного обучения для клиентов с уникальными данными. Алгоритм позволяет целевому участнику сети использовать градиенты других узлов для минимизации собственного риска, избегая при этом негативного переноса знаний. Это повышает точность моделей в сценариях, где распределение данных сильно отличается от среднестатистического по всей системе. arXiv · Машинное обучение Новый метод децентрализованной регрессии рангов для распределенных сетей Исследователи представили новый фреймворк для сверточной ранговой регрессии (CRR), адаптированный для децентрализованных сетей. Метод позволяет узлам сети вычислять оценки параметров, решая задачи оптимизации с ограничениями консенсуса и использованием ядерно-сглаженных функций потерь. Подход обеспечивает высокую точность обучения на локальных данных без необходимости передачи исходной информации на центральный сервер, что повышает приватность и масштабируемость распределенных систем. Hacker News · Исследования и наука Tree Transformers: новый подход к архитектуре нейросетей Исследователи представили архитектуру Tree Transformers, которая меняет способ обработки иерархических данных в нейронных сетях. В отличие от стандартных трансформеров, работающих с линейными последовательностями токенов через механизмы внимания, новая модель опирается на древовидную структуру данных. Это позволяет эффективнее моделировать зависимости в задачах, где важна вложенность и иерархия, например, при анализе синтаксиса языков программирования или сложных математических выражений. arXiv · Машинное обучение Новый подход к анализу независимых компонент через оптимальное транспортирование Исследователи предложили новый метод решения задачи анализа независимых компонент (ICA), используя теорию оптимального транспортирования вместо классической оптимизации негэнтропии. Этот подход позволяет более точно разделять смешанные сигналы на исходные независимые компоненты, обходя ограничения традиционных алгоритмов, которые полагаются на аппроксимации четвертого порядка и часто сталкиваются с вычислительными сложностями при работе с нелинейными или сложными распределениями данных. arXiv · Машинное обучение Новый метод генерации корреляционных матриц на основе графовых структур Исследователи представили метод генерации теоретических корреляционных матриц с заданными шаблонами разреженности, опирающийся на графовые структуры. Подход использует фреймворк выпуклой оптимизации для проецирования начальной матрицы на эллиптоп при соблюдении условий положительной полуопределенности. Разработанные численные схемы позволяют эффективно решать задачи, возникающие при анализе сложных зависимостей в данных и машинном обучении. Hacker News · Машинное обучение Нейронные клеточные автоматы и рекуррентные архитектуры Исследователи представили детальный разбор применения нейронных клеточных автоматов (NCA) в контексте современных рекуррентных архитектур. В отличие от классических моделей, где состояние системы обновляется глобально, NCA используют локальные правила взаимодействия, позволяя модели обучаться сложным паттернам поведения на основе простых локальных операций. Это открывает новые возможности для моделирования динамических систем, где пространственная структура данных имеет решающее значение. arXiv · Машинное обучение Метод CoCaRS для эффективной дистилляции знаний в гетерогенных моделях Исследователи представили метод CoCaRS (Correlation Calibration-Based Redundancy Suppression), направленный на повышение эффективности дистилляции знаний между моделями с разной архитектурой. Новый подход решает проблему несоответствия индуктивных смещений учителя и ученика, подавляя избыточные корреляции в представлениях данных. Это позволяет компактным моделям точнее перенимать сложные паттерны от крупных нейросетей, минимизируя потери качества при сжатии. arXiv · Машинное обучение Новый метод глубокой непараметрической регрессии при сдвиге ковариат Исследователи представили новый подход к обучению глубоких нейронных сетей для задач квантильной и Huber-регрессии в условиях сдвига ковариат и зависимых данных. Метод позволяет эффективно адаптировать модели, когда распределения обучающей и целевой выборок различаются, что является критической проблемой для надежности ИИ-систем в реальных прикладных задачах, где данные поступают из нестационарных источников. arXiv · Машинное обучение Новая функция потерь CoCo для оптимизации векторных представлений Исследователи представили функцию потерь Contrastive-Collapsed (CoCo), предназначенную для обучения более качественных и геометрически оптимальных векторных представлений (эмбеддингов). Метод сочетает внутриклассовое сжатие с межклассовым контрастированием, что позволяет нейронным сетям быстрее сходиться и достигать высокой угловой сепарации между классами, сохраняя при этом гибкость модели для решения сложных задач классификации и обучения репрезентаций.

← Все материалы