arXiv · 11.06.2026 ·Обучение ИИ-агентов

Как on-policy distillation меняет параметры моделей

Исследователи из MIT и DeepMind изучили влияние on-policy distillation (OPD) на параметры моделей. Этот метод сочетает траектории студента, полученные в реальных условиях, с плотным супервизором от учителя. Авторы анализировали несколько языковых и визуально-языковых моделей и выявили два ключевых результата.

Первое: параметры моделей после OPD становятся более разреженными. Это означает, что значительная часть весов становится нулевой или незначительной, что может упростить инференс и снизить вычислительные затраты. Второе: геометрия параметров меняется, что может повлиять на обобщающую способность моделей.

Для разработчиков ИИ-агентов это важно, так как OPD может стать эффективным способом дообучения моделей на реальных данных. Разреженность параметров может улучшить производительность агентов, особенно в условиях ограниченных вычислительных ресурсов. Исследование также подчеркивает важность понимания геометрии параметров для оптимизации работы моделей.

Авторы отмечают, что OPD может быть полезен для адаптации моделей под конкретные задачи, что особенно актуально для ИИ-агентов, работающих в динамических средах. Исследование опубликовано на arXiv и доступно по ссылке.

Источник: arXiv

Похожие материалы

arXiv · Самоулучшение ИИ-агентов Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. arXiv · Трансформеры и обработка сложных данных Трансформеры для решения уравнений на сложных геометриях Исследователи из MIT и других ведущих университетов представили новый подход к использованию трансформеров для решения задач, связанных с дифференциальными уравнениями на сложных геометриях. Традиционные методы, основанные на нейронных операторах, ограничены фиксированным размером области, что затрудняет их применение в реальных сценариях, где размеры могут варьироваться. Hacker News · Исследования и модели Как открытые модели меняют подход к глубоким исследованиям Компания Thinkwright.ai представила исследование, в котором рассматривается влияние открытых моделей на процесс глубоких исследований. В статье подчёркивается, что открытые модели, такие как те, которые доступны в рамках инициативы Open Weight Models, позволяют исследователям проводить более детальные и точные анализы, не завися от закрытых решений. arXiv · ИИ-агенты и физическое взаимодействие Geometric Action Model для обучения политик роботов Исследователи из MIT и Google DeepMind представили новый подход к обучению политик роботов, который учитывает геометрию физического мира. В статье, опубликованной на arXiv, авторы предлагают Geometric Action Model (GAM), который позволяет роботам не только следовать инструкциям пользователей, но и учитывать взаимодействие объектов, камер и действий робота в 3D пространстве. arXiv · Оптимизация моделей для ИИ-агентов Persona-Pruner: как облегчить ИИ-агентов для ролевых игр Исследователи из MIT и других университетов представили Persona-Pruner — метод оптимизации языковых моделей для ролевых взаимодействий. Технология позволяет значительно сократить размер моделей, сохраняя их способность к ролевой игре. Это особенно важно для систем с множеством NPC (неигровых персонажей), где вычислительные затраты становятся критическими. arXiv · Проблемы каузального рассуждения в ИИ-агентах Исследование: как языковые модели теряют логику при замене переменных Учёные из MIT и других институтов обнаружили любопытный феномен в языковых моделях: при замене переменных в задачах на каузальное рассуждение на нейтральные маркеры (например, «X» вместо «Джон») модели начинают давать разные ответы, хотя структура вопроса и правильный ответ остаются неизменными. Это указывает на то, что модели либо теряют часть информации при такой замене, либо не могут корректно интерпретировать сохранённую информацию. arXiv · ИИ-агенты и память Новый подход к редактированию знаний в ИИ-агентах Исследователи из MIT и Университета Карнеги-Меллона представили новый метод редактирования знаний в ИИ-моделях, который позволяет обновлять конкретные факты, не затрагивая близлежащие, но нерелевантные данные. В статье, опубликованной на arXiv, авторы предлагают использовать память, которая извлекается во время инференса, и адаптеры для коррекции предпочтений модели. arXiv · Многозадачные ИИ-агенты Новый метод для координации агентов с разными целями Исследователи из MIT и Университета Карнеги-Меллона представили новый подход к обучению ИИ-агентов в условиях многозадачности и конфликтов целей. В статье на arXiv они описывают Preference Coordinated Multi-agent Policy Optimization (PCMA) — метод, который позволяет агентам координировать свои действия даже при наличии противоречивых целей и различий в наблюдениях и ролях. Hacker News · Оптимизация ИИ-агентов Как избежать локальных минимумов в обучении ИИ-агентов В обсуждении на Hacker News пользователи делятся опытом и стратегиями, как избежать или выйти из локальных минимумов при обучении больших языковых моделей (LLM). Локальные минимумы — это ситуации, когда модель перестаёт улучшаться, застревая в неоптимальных решениях. Это особенно актуально для разработчиков ИИ-агентов, где качество модели напрямую влияет на эффективность агентов. arXiv · Оптимизация моделей MoE Как оптимально обрезать экспертов в моделях MoE Исследователи предложили унифицированный подход к обрезке экспертов в моделях Mixture-of-Experts (MoE), что может существенно снизить память и вычислительные затраты при развёртывании таких моделей. В статье, опубликованной на arXiv, авторы отмечают, что хотя MoE-модели эффективно распределяют вычисления между экспертами, их развёртывание всё равно требует хранения полного пула экспертов. Это создаёт проблемы с памятью, особенно при использовании в агентных системах, где важна эффективность инференса.

← Все материалы