arXiv · 02.08.2026 ·Машинное обучение

Новый метод точечного удаления данных из мультимодальных моделей

Исследователи представили метод «атрибутивного разучивания» (attribute unlearning) для мультимодальных больших языковых моделей (MLLM). В отличие от традиционного удаления данных на уровне целых профилей, этот подход позволяет избирательно стирать конкретные концепции или чувствительную информацию из весов модели, сохраняя при этом её общую производительность и визуально-языковые способности без необходимости полного переобучения нейросети.

Современные мультимодальные модели часто запоминают конфиденциальные данные, что создает риски безопасности при их развертывании. Существующие методы машинного разучивания (machine unlearning) обычно работают грубо, удаляя информацию о целых объектах или пользователях. Новый подход фокусируется на «тонкой настройке» забывания, позволяя точечно исключать специфические атрибуты, такие как конкретные визуальные детали или приватные метаданные, которые модель могла усвоить в процессе обучения.

Авторы работы протестировали эффективность метода на различных сценариях, демонстрируя, что модель успешно перестает генерировать ответы, связанные с удаляемыми атрибутами, при этом сохраняя точность выполнения базовых задач. Это решение критически важно для соблюдения требований приватности и защиты авторских прав, так как позволяет компаниям оперативно реагировать на запросы об удалении данных, не тратя вычислительные ресурсы на повторное обучение моделей с нуля.

Ключевые факты

Метод направлен на удаление конкретных атрибутов из MLLM вместо удаления целых профилей данных.
Технология позволяет избежать дорогостоящего переобучения модели при необходимости удаления чувствительной информации.
Исследование подтверждает сохранение общей функциональности и точности модели после процесса «разучивания».
Подход решает проблему утечки конфиденциальных данных, которые модели непреднамеренно запоминают в процессе обучения.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Автоматизированный поиск алгоритмов удаления концепций в LLM Исследователи представили новый подход к автоматическому поиску алгоритмов для удаления нежелательных концепций из весов нейронных сетей. Используя агентную систему, авторы смогли обнаружить эффективные методы «стирания» знаний, которые превосходят существующие ручные подходы. Это позволяет точечно корректировать поведение моделей, минимизируя побочные эффекты для общей производительности и сохраняя функциональность системы после удаления конкретных данных или концепций. arXiv · Машинное обучение Метод MAST для точечного удаления нежелательных навыков рассуждения в LLM Исследователи представили метод MAST (Mechanism-Aligned Selective Targeting), предназначенный для избирательного удаления специфических паттернов рассуждения, привитых моделям через обучение с подкреплением (RLVR). Традиционные подходы к «забыванию» (unlearning) часто приводят к деградации общих способностей модели из-за полнопараметрических обновлений. Новый метод позволяет изолировать и корректировать только те веса, которые отвечают за конкретные логические цепочки, минимизируя побочный ущерб для базовых знаний модели. arXiv · Безопасность и алайнмент Метод защиты LLM от отравления данных при дообучении Исследователи представили метод «Detect, Unlearn, Restore» для защиты моделей суммаризации текста от атак типа data poisoning. Техника позволяет выявлять вредоносные примеры в обучающей выборке, удалять их влияние на веса модели и восстанавливать исходную производительность системы. Это критически важно для защиты специализированных LLM, которые подвержены манипуляциям через небольшие наборы данных при дообучении. arXiv · Машинное обучение Итеративная самофильтрация данных для обучения мультимодальных моделей Качество обучающих выборок остается критическим фактором при создании эффективных мультимодальных нейросетей. В условиях работы с массивами данных гигантского объема ручная проверка становится невозможной, что приводит к накоплению значительного количества «шумных» и нерелевантных примеров. Традиционные методы очистки данных, основанные на эвристиках или использовании сторонних предобученных моделей, часто оказываются недостаточно гибкими или требуют больших вычислительных затрат. arXiv · Машинное обучение Новый метод обучения мультимодальных моделей через разделение восприятия и рассуждения Исследователи представили метод обучения мультимодальных моделей, который решает проблему «коротких путей» при использовании самодистилляции. Традиционный подход, при котором модель обучается на собственных результатах с опорой на эталонные данные, часто приводит к тому, что мультимодальные системы игнорируют визуальный контекст, полагаясь исключительно на текстовые подсказки. Новый алгоритм разделяет процессы восприятия изображения и логического рассуждения, что заставляет модель учитывать визуальные признаки как равноправный источник информации. Hacker News · Безопасность и алайнмент Anthropic представила метод модульного обучения для контроля доступа к знаниям моделей Исследователи Anthropic предложили подход модульного предварительного обучения, позволяющий изолировать определенные знания внутри нейросети. Метод позволяет ограничивать доступ к конфиденциальной или опасной информации, сохраняя при этом общую производительность модели. Это решение дает возможность разработчикам выборочно отключать или активировать специфические домены знаний без необходимости полного переобучения всей архитектуры системы. arXiv · Обучение и дообучение Метод Neuron-Aware для самообучения LLM без участия человека Исследователи представили метод Neuron-Aware Data Selection, позволяющий дообучать большие языковые модели без использования человеческой разметки или внешних экспертных данных. Технология опирается на самодистилляцию, где модель использует собственные выходы в качестве обучающих сигналов. Подход фокусируется на отборе наиболее информативных данных через анализ активации нейронов, что значительно повышает качество генерации в специализированных областях при отсутствии дорогостоящих аннотаций. arXiv · Машинное обучение Решение проблемы деградации проекторов в мультимодальных моделях при дообучении Исследователи представили метод Progressive Multimodal Alignment (PMA), направленный на борьбу с «забыванием» в мультимодальных языковых моделях (MLLM) при непрерывном обучении. Технология предотвращает деградацию визуального проектора, который отвечает за связку визуальных данных с текстовым пространством, обеспечивая стабильность работы модели при последовательном освоении новых задач и изменении распределений данных. arXiv · Исследования и наука Knowledgeless Language Models: снижение зависимости от внутренних знаний Исследователи представили концепцию Knowledgeless Language Models — архитектурный подход, направленный на подавление параметрической памяти моделей в пользу опоры на предоставленный контекст. Метод модифицирует процесс предварительного обучения, заставляя нейросеть игнорировать заученные факты, которые часто оказываются устаревшими или неточными, и фокусироваться исключительно на доказательной базе, что критически важно для создания надежных RAG-систем и минимизации галлюцинаций. Hacker News · Безопасность и алайнмент Anthropic представила метод «выключателя» для опасных знаний в ИИ-моделях Исследователи Anthropic разработали метод удаления специфических опасных знаний из нейросетей без ущерба для их общей функциональности. Техника, названная «отключением знаний», позволяет избирательно подавлять информацию, например, о создании биологического оружия, сохраняя при этом способность модели к рассуждению и выполнению повседневных задач. Это важный шаг в решении проблемы «двойного назначения» технологий.

← Все материалы