arXiv · 12.06.2026 ·Самоулучшение ИИ-агентов

Почему самоулучшающиеся модели могут деградировать на новых задачах

Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных.

Ключевая проблема — в предположении о монотонности: улучшение верфикатора должно приводить к улучшению «студента». Однако на практике верфикатор может начать предпочитать неоптимальные генерации, особенно на новых задачах, что ведёт к регрессии. Это особенно важно для ИИ-агентов, где самоулучшение — ключевой механизм адаптации.

Исследование подчёркивает необходимость более сложных механизмов контроля качества в процессе самообучения. Например, можно использовать дополнительные метрики или ограничивать влияние верфикатора на обучение. Это особенно актуально для агентов, работающих в динамичных средах, где задачи постоянно меняются.

Для разработчиков ИИ-агентов это означает, что при внедрении самоулучшающих механизмов нужно учитывать риски регрессии. Возможно, стоит комбинировать DPO с другими подходами, такими как RAG (Retrieval-Augmented Generation) или MCP (Memory-Augmented Planning), чтобы минимизировать негативные эффекты.

Источник: arXiv

Похожие материалы

Hacker News · Обучение ИИ и его ограничения Почему ИИ-модели перестают учиться Исследование, опубликованное на Tagide, раскрывает феномен "learning stall" — ситуацию, когда ИИ-модели перестают улучшать свои показатели несмотря на дальнейшее обучение. Авторы статьи анализируют причины этого явления, включая насыщение данных, ограничения архитектуры моделей и проблемы с оптимизацией. arXiv · Проблемы каузального рассуждения в ИИ-агентах Исследование: как языковые модели теряют логику при замене переменных Учёные из MIT и других институтов обнаружили любопытный феномен в языковых моделях: при замене переменных в задачах на каузальное рассуждение на нейтральные маркеры (например, «X» вместо «Джон») модели начинают давать разные ответы, хотя структура вопроса и правильный ответ остаются неизменными. Это указывает на то, что модели либо теряют часть информации при такой замене, либо не могут корректно интерпретировать сохранённую информацию. Hacker News · Оптимизация ИИ-агентов Как избежать локальных минимумов в обучении ИИ-агентов В обсуждении на Hacker News пользователи делятся опытом и стратегиями, как избежать или выйти из локальных минимумов при обучении больших языковых моделей (LLM). Локальные минимумы — это ситуации, когда модель перестаёт улучшаться, застревая в неоптимальных решениях. Это особенно актуально для разработчиков ИИ-агентов, где качество модели напрямую влияет на эффективность агентов. arXiv · ИИ-агенты и память ReGrad: постобучение без потери знаний Исследователи из MIT и Google Research предложили новый подход к постобучению моделей, который решает проблему накопления весового дрейфа. В работе «Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift» авторы вводят концепцию ReGrad — метода, позволяющего моделям обновляться после развертывания без потери ранее усвоенных знаний. arXiv · RAG и визуальные агенты Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. arXiv · Робототехника и ИИ-агенты Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. arXiv · Обучение ИИ-агентов Как on-policy distillation меняет параметры моделей Исследователи из MIT и DeepMind изучили влияние on-policy distillation (OPD) на параметры моделей. Этот метод сочетает траектории студента, полученные в реальных условиях, с плотным супервизором от учителя. Авторы анализировали несколько языковых и визуально-языковых моделей и выявили два ключевых результата. arXiv · Обучение и ИИ-агенты Исследование: почему ИИ-репетиторы не работают так, как ожидается Исследователи из MIT и Стэнфорда опубликовали работу, в которой ставят под сомнение эффективность современных ИИ-репетиторов. Проблема в том, что текущие методы оценки и обучения таких систем основаны на предположении, что студенты будут активно взаимодействовать с ИИ-репетитором, следуя его подсказкам и шагам. Однако в реальном мире это происходит далеко не всегда. Lobsters · Исследования ИИ Исследование: почему глубина моделей может быть их проклятием Новое исследование, опубликованное на arXiv, поднимает важный вопрос о том, как глубина архитектуры больших языковых моделей (LLM) влияет на их производительность. Авторы работы утверждают, что увеличение глубины моделей может привести к так называемому "проклятию глубины", когда дополнительные слои не только не улучшают, но и ухудшают качество генерации текста. The latest research from Google · Разумные агенты и байесовские сети Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны.

← Все материалы