arXiv · 14.06.2026 ·ИИ-агенты и память

ReGrad: постобучение без потери знаний

Исследователи из MIT и Google Research предложили новый подход к постобучению моделей, который решает проблему накопления весового дрейфа. В работе «Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift» авторы вводят концепцию ReGrad — метода, позволяющего моделям обновляться после развертывания без потери ранее усвоенных знаний.

Проблема весового дрейфа возникает при многократном обновлении параметров модели, что приводит к катастрофическому забыванию. Существующие решения, такие как RAG (Retrieval-Augmented Generation), избегают этого, но при этом уступают в глубине интеграции знаний. ReGrad предлагает компромиссное решение: он сохраняет градиенты обновлений в виде извлекаемых векторов, что позволяет модели адаптироваться к новым данным без изменения исходных параметров.

Авторы провели эксперименты на различных наборах данных, включая MMLU и TriviaQA, и показали, что ReGrad сохраняет общие способности модели при одновременном усвоении новых знаний. Это особенно важно для ИИ-агентов, которым необходимо постоянно обновляться без потери ключевых навыков.

Подход ReGrad может быть полезен для разработки агентов с долговременной памятью и адаптивными способностями. Он позволяет моделям оставаться актуальными, не жертвуя стабильностью и надежностью. В будущем этот метод может стать основой для более продвинутых систем постобучения, которые будут способны эффективно интегрировать новые данные без потери ранее усвоенных знаний.

Источник: arXiv

Похожие материалы

arXiv · Самоулучшение ИИ-агентов Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. arXiv · ИИ-агенты и память Исследование геометрии памяти в непрерывном обучении Учёные изучили структуру памяти в непрерывном обучении, чтобы понять, как ИИ-агенты могут сохранять знания без катастрофического забывания. Исследование основано на фреймворке Accessibility Collapse и анализирует, как модели, такие как ResNet-18, теряют и восстанавливают информацию при обучении на последовательных задачах. arXiv · ИИ-агенты и память Новый подход к редактированию знаний в ИИ-агентах Исследователи из MIT и Университета Карнеги-Меллона представили новый метод редактирования знаний в ИИ-моделях, который позволяет обновлять конкретные факты, не затрагивая близлежащие, но нерелевантные данные. В статье, опубликованной на arXiv, авторы предлагают использовать память, которая извлекается во время инференса, и адаптеры для коррекции предпочтений модели. arXiv · Защита ИИ-агентов от вредоносных данных InstantForget удаляет вредоносные данные без переобучения модели Исследователи из MIT и других университетов представили метод InstantForget, который позволяет удалять вредоносные данные (backdoors) из обученных моделей без переобучения. Это особенно важно для ИИ-агентов, которые могут сталкиваться с подозрительными или вредоносными данными в процессе работы. arXiv · RAG и аналитическое мышление Как RAG помогает ИИ-агентам решать сложные задачи через аналогии Исследователи из MIT и Google Research предложили новый подход к улучшению способности языковых моделей решать сложные задачи через аналогии. В работе, опубликованной на arXiv, они демонстрируют, как Retrieval-Augmented Generation (RAG) может быть адаптирован для более эффективного решения задач, требующих нестандартного мышления. arXiv · ИИ-агенты и память Память в ИИ для прогнозирования трафика Исследователи из Университета Цинхуа и других ведущих вузов представили новый подход к прогнозированию состояния дорожного движения с использованием памяти. В статье, опубликованной на arXiv, они предлагают Memory-Augmented Graph Liquid Time-Constant Networks (M-GLTN) — модель, которая решает проблему нехватки данных в некоторых регионах за счёт переноса знаний из других областей. arXiv · Обучение и генерализация в ИИ-агентах Новый фреймворк для обучения ИИ-агентов в условиях зависимости данных Исследователи из Arxiv представили новый фреймворк для обучения ИИ-агентов, который учитывает зависимость данных. В статье "Learning with Simulators: No Regret in a Computationally Bounded World" авторы рассматривают минимальные предположения, необходимые для генерализации в условиях, где данные не являются независимыми. Это особенно важно для ИИ-агентов, которые часто работают с последовательными или взаимосвязанными данными, например, в задачах планирования или взаимодействия с окружающей средой. arXiv · Оптимизация инференса в ИИ-агентах Как снизить задержки в системах с потоковыми данными Исследователи из MIT и Google предложили новый подход к обработке потоковых данных в системах машинного обучения, который может существенно снизить задержки и нагрузку на серверы. В статье, опубликованной на arXiv, они описывают метод, который отделяет процесс инференса от обновления состояния, используя вероятностное прореживание (probabilistic thinning). The latest research from Google · Разумные агенты и байесовские сети Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. arXiv · Обучение ИИ-агентов Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели.

← Все материалы