Исследователи представили метод градиентного бустинга, использующий векторные значения в листьях деревьев решений вместо традиционных скалярных предсказаний. Этот подход позволяет более эффективно оптимизировать сложные целевые функции, работающие с векторами, что значительно расширяет возможности классических ансамблевых моделей в задачах многоклассовой классификации и других многомерных сценариях, требующих одновременной обработки нескольких зависимых переменных.
Традиционные реализации градиентного бустинга опираются на простые функции потерь, основанные на логарифмическом правдоподобии для одной переменной. В новой работе авторы показывают, как естественным образом расширить этот механизм для работы с векторными представлениями. Это позволяет модели напрямую предсказывать вектор оценок для всех классов, что повышает точность и стабильность обучения при работе с многомерными данными.
Метод особенно актуален для задач, где необходимо учитывать сложные взаимосвязи между выходными признаками. Использование векторных листьев упрощает архитектуру ансамбля, избавляя от необходимости раздельной оптимизации для каждого измерения, и открывает путь к более гибкой настройке градиентного бустинга под специфические бизнес-задачи, требующие высокой точности прогнозирования в условиях многоклассовой классификации.
Ключевые факты
- Метод заменяет скалярные значения в листьях деревьев решений на векторы, что позволяет оптимизировать многомерные целевые функции.
- Подход адаптирован для задач многоклассовой классификации, где для каждого класса требуется отдельная оценка.
- Исследование расширяет возможности классических ансамблевых моделей, сохраняя при этом эффективность градиентного бустинга.
- Предложенный метод позволяет более точно моделировать зависимости между переменными в рамках единого процесса обучения.