arXiv · 17.06.2026 ·Машинное обучение

Метод удаления данных из обученных моделей XGBoost

Исследователи представили подход XGBoost-Forget, предназначенный для удаления влияния конкретных записей из уже обученных моделей градиентного бустинга. В отличие от большинства существующих методов машинного обучения, которые ориентированы на нейронные сети и работу с изображениями, данная разработка сфокусирована на табличных данных. Это критически важно для систем обнаружения сетевых вторжений, где оперативное обновление моделей без необходимости их полного переобучения является ключевым требованием.

Технология позволяет эффективно «забывать» информацию о конкретных инцидентах или пользователях, что помогает соблюдать требования конфиденциальности и актуализировать модели безопасности в режиме реального времени. Авторы протестировали метод на специализированных наборах данных для анализа сетевого трафика, подтвердив возможность корректного удаления данных при сохранении общей точности предсказаний модели.

Данное решение закрывает пробел в области машинного обучения, где доминировали методы для глубокого обучения. Применение XGBoost-Forget позволяет оптимизировать процессы поддержки моделей в корпоративных средах, где часто требуется удаление устаревших или скомпрометированных данных из обучающих выборок без затратных вычислительных операций по повторному обучению с нуля.

Источник: arXiv

Похожие материалы

arXiv · Обучение и дообучение InstantForget удаляет вредоносные данные без переобучения модели Исследователи из MIT и других университетов представили метод InstantForget, который позволяет удалять вредоносные данные (backdoors) из обученных моделей без переобучения. Это особенно важно для ИИ-агентов, которые могут сталкиваться с подозрительными или вредоносными данными в процессе работы. arXiv · Машинное обучение Метод MAST для точечного удаления нежелательных навыков рассуждения в LLM Исследователи представили метод MAST (Mechanism-Aligned Selective Targeting), предназначенный для избирательного удаления специфических паттернов рассуждения, привитых моделям через обучение с подкреплением (RLVR). Традиционные подходы к «забыванию» (unlearning) часто приводят к деградации общих способностей модели из-за полнопараметрических обновлений. Новый метод позволяет изолировать и корректировать только те веса, которые отвечают за конкретные логические цепочки, минимизируя побочный ущерб для базовых знаний модели. arXiv · Память и RAG ReGrad: постобучение без потери знаний Исследователи из MIT и Google Research предложили новый подход к постобучению моделей, который решает проблему накопления весового дрейфа. В работе «Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift» авторы вводят концепцию ReGrad — метода, позволяющего моделям обновляться после развертывания без потери ранее усвоенных знаний. arXiv · Машинное обучение Новый метод оценки обобщающей способности моделей через PAC-Bayes Исследователи представили новый подход к дерандомизации PAC-Bayes оценок для функций потерь с высокой степенью гладкости. Традиционные методы оценки обобщающей способности моделей часто опираются на вероятностные предсказатели, что затрудняет их прямое применение к детерминированным алгоритмам. Авторы работы предлагают математический аппарат, позволяющий переносить теоретические гарантии с ансамблей типа Gibbs на конкретные детерминированные модели, используя свойства гладкости функции потерь и класса предсказателей. arXiv · ИИ в бизнесе Гибридная модель Ret-DNN с XGBoost для прогнозирования поведения покупателей Исследователи предложили гибридную модель на основе Retail Deep Neural Network (Ret-DNN) и XGBoost для прогнозирования поведения покупателей в e-commerce. arXiv · Машинное обучение Giskard: новый метод безопасного децентрализованного обучения моделей Исследователи представили Giskard — протокол для децентрализованного машинного обучения, который решает проблему одновременного обеспечения конфиденциальности данных и защиты от вредоносных узлов. В распределенных системах клиенты обучают модели локально, обмениваясь параметрами или градиентами с соседями. Традиционные подходы часто сталкиваются с конфликтом: методы защиты приватности, такие как дифференциальная приватность или шифрование, затрудняют выявление «византийских» атак, при которых участники сети намеренно передают искаженные данные для саботажа обучения. arXiv · Инференс и железо Как снизить задержки в системах с потоковыми данными Исследователи из MIT и Google предложили новый подход к обработке потоковых данных в системах машинного обучения, который может существенно снизить задержки и нагрузку на серверы. В статье, опубликованной на arXiv, они описывают метод, который отделяет процесс инференса от обновления состояния, используя вероятностное прореживание (probabilistic thinning). arXiv · Машинное обучение Исследование переосмысливает методы сжатия датасетов в машинном обучении Учёные пересмотрели подходы к dataset distillation (DD) — методу, который позволяет создавать компактные обучающие наборы данных, сохраняя ключевую информацию из больших датасетов. Исследование, опубликованное на arXiv, выявило несоответствия в оценке эффективности DD-методов, которые часто тестируются по разным протоколам, от стандартного ERM до использования одного или нескольких учителей. arXiv · Модели и релизы Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. arXiv · Модели и релизы Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода.

← Все материалы