arXiv · 16.06.2026 ·Машинное обучение

Новый метод обучения нейросетей без жесткого копирования знаний

Исследователи предложили альтернативу традиционному дистилляции знаний (knowledge distillation), где маленькие модели пытаются копировать логиты больших. Проблема в том, что это делает их слишком узкоспециализированными, ухудшая обобщающую способность.

Новый подход, Zone of Proximal Policy Optimization (ZPPO), использует принципы reinforcement learning. Вместо того чтобы заставлять студента копировать логиты учителя, он обучается на собственных развертываниях, что позволяет лучше обобщать знания.

Авторы сравнили ZPPO с традиционными методами на нескольких бенчмарках и показали, что новый метод демонстрирует лучшие результаты в задачах, не связанных с обучающими данными. Это может стать важным шагом в разработке более универсальных и надежных моделей.

Работа опубликована на arXiv и доступна для скачивания.

Источник: arXiv

Похожие материалы

Hacker News · Машинное обучение Почему переобучение в нейросетях работает лучше ожиданий Учёные из EPFL провели исследование, чтобы разобраться в феномене переобученности нейросетей. Оказалось, что переобученные модели часто показывают лучшие результаты, чем ожидалось. Это противоречит традиционным представлениям о том, что переобучение ведёт к ухудшению качества модели. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Память и RAG ReGrad: постобучение без потери знаний Исследователи из MIT и Google Research предложили новый подход к постобучению моделей, который решает проблему накопления весового дрейфа. В работе «Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift» авторы вводят концепцию ReGrad — метода, позволяющего моделям обновляться после развертывания без потери ранее усвоенных знаний. arXiv · Машинное обучение Исследование переосмысливает методы сжатия датасетов в машинном обучении Учёные пересмотрели подходы к dataset distillation (DD) — методу, который позволяет создавать компактные обучающие наборы данных, сохраняя ключевую информацию из больших датасетов. Исследование, опубликованное на arXiv, выявило несоответствия в оценке эффективности DD-методов, которые часто тестируются по разным протоколам, от стандартного ERM до использования одного или нескольких учителей. arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Модели и релизы Knowledge Trap защищает модели от кражи знаний через ловушки Исследователи из MIT и других университетов предложили новый способ защиты языковых моделей от кражи знаний. В статье, опубликованной на arXiv, они описывают метод Knowledge Trap, который использует "медовые ловушки" для знаний (Honeypot Knowledge Graph, HKG) и хлебные крошки для направления атак на нерелевантные данные. arXiv · Модели и релизы Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. Google DeepMind News · Обучение и дообучение Decoupled DiLoCo от DeepMind для устойчивого распределённого обучения DeepMind представила новый подход к распределённому обучению нейронных сетей — Decoupled DiLoCo (Decoupled Distributed Learning with Communication). Этот метод позволяет значительно повысить устойчивость и эффективность обучения моделей в условиях ограниченной или ненадёжной связи между узлами. В отличие от традиционных методов, где синхронизация данных между узлами может стать узким местом, Decoupled DiLoCo использует асинхронный обмен информацией, что делает процесс обучения более гибким и устойчивым к сбоям. arXiv · Машинное обучение Исследование монотонных нейросетей на основе теоремы Колмогорова-Арнольда Учёные представили исследование монотонных нейросетей, основанных на теореме Колмогорова-Арнольда. Монотонность — это свойство, при котором выходные данные модели изменяются в одном направлении при изменении входных данных. Это важно в задачах, где такие зависимости известны заранее, например, в экономике или науке. arXiv · Память и RAG Новый подход к редактированию знаний в ИИ-агентах Исследователи из MIT и Университета Карнеги-Меллона представили новый метод редактирования знаний в ИИ-моделях, который позволяет обновлять конкретные факты, не затрагивая близлежащие, но нерелевантные данные. В статье, опубликованной на arXiv, авторы предлагают использовать память, которая извлекается во время инференса, и адаптеры для коррекции предпочтений модели.

← Все материалы