arXiv · 03.07.2026 ·Обучение и дообучение

Непрерывное дообучение LLM-агентов в процессе выполнения задач

Исследователи представили метод Agentic Test-Time Training (TTT), позволяющий LLM-агентам адаптировать веса модели непосредственно во время выполнения многошаговых задач. В отличие от стандартных подходов, обновляющих модель один раз, этот метод обеспечивает непрерывную корректировку стратегии агента, предотвращая деградацию производительности, зацикливание на пройденных состояниях и потерю эффективных алгоритмов при работе над длинными траекториями.

Проблема накопления ошибок в агентных системах часто связана с тем, что модель «забывает» контекст или начинает повторять неудачные действия по мере роста сложности эпизода. Новый метод TTT позволяет агенту динамически обновлять свои внутренние параметры, опираясь на текущий прогресс. Это превращает модель из статического исполнителя в адаптивную систему, способную корректировать поведение в реальном времени на основе накопленного опыта внутри конкретной сессии.

Такой подход существенно меняет архитектуру взаимодействия с LLM в агентных сценариях, где критически важна долгосрочная память и сохранение стратегии. Вместо того чтобы полагаться только на контекстное окно, агент использует механизм TTT для «закрепления» успешных паттернов поведения, что делает выполнение сложных многоэтапных задач более стабильным и предсказуемым.

Ключевые факты

Метод Agentic TTT обеспечивает адаптацию весов модели в режиме реального времени на протяжении всей многоходовой сессии.
Технология решает проблему деградации агентов, возникающую при увеличении длины траектории выполнения задачи.
Механизм предотвращает повторение неудачных действий и потерю стратегий, которые доказали свою эффективность на ранних этапах работы.
Исследование сфокусировано на непрерывном обновлении параметров, что отличает его от традиционных методов TTT, ограниченных однократной адаптацией к фиксированному входу.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Разработка и инструменты Улучшение ИИ-агентов через траектории в пространстве токенов без дообучения Исследователи представили метод оптимизации поведения ИИ-агентов, основанный на анализе успешных траекторий действий без изменения весов модели. Подход заключается в манипуляции пространством токенов, что позволяет направлять агент к выполнению сложных задач через уточнение контекста и промптов, основываясь на прошлых результатах выполнения, исключая необходимость дорогостоящего дообучения или градиентного спуска. Hacker News · Машинное обучение Компиляция агентных рабочих процессов в веса LLM Исследователи представили метод компиляции сложных агентных рабочих процессов непосредственно в веса больших языковых моделей. Вместо использования внешних оркестраторов или многошаговых промптов, логика выполнения задач «запекается» в архитектуру модели. Это позволяет значительно сократить задержки при инференсе и снизить потребность в дополнительных вычислительных ресурсах для управления цепочками рассуждений агента. arXiv · Машинное обучение Почему обучение с подкреплением для ИИ-агентов приводит к деградации моделей Исследователи выявили причину «катастрофического коллапса» при обучении LLM использованию инструментов через Reinforcement Learning (RL). В ходе многошаговых задач модели часто теряют способность корректно вызывать функции, что ведет к резкому падению производительности. Авторы работы предложили метод внедрения дополнительных контролирующих сигналов, который стабилизирует процесс обучения и предотвращает разрушение агентных навыков в сложных сценариях. Hacker News · Инфраструктура для агентов Почему не все задачи в ИИ-системах требуют LLM-инференса Разработчики всё чаще сталкиваются с избыточностью использования LLM для простых логических операций. Переход к детерминированным подходам позволяет снизить затраты на токены и повысить предсказуемость систем. Вместо делегирования каждой задачи нейросети, архитектура агентов должна включать классические алгоритмы и жестко заданные правила для обработки рутинных данных и управления состоянием. arXiv · Обучение и дообучение Использование RL-обучения для улучшения агентных способностей LLM Исследователи обнаружили, что стандартное обучение с подкреплением (RL) при дообучении моделей уже содержит скрытый потенциал для улучшения агентных навыков. Авторы работы доказывают, что этот процесс позволяет эффективно оценивать пошаговые действия моделей без необходимости в сложных внешних системах вознаграждения, что критически важно для решения долгосрочных задач в стохастических средах, где традиционные методы аннотирования данных практически не работают. Hacker News · Оркестрация агентов Метод контроля стабильности LLM-агентов через теорию Ляпунова Разработан новый подход к мониторингу автономных ИИ-агентов, основанный на классической теории устойчивости Ляпунова. Инструмент позволяет отслеживать состояние системы в процессе выполнения задач и выявлять моменты, когда агент начинает совершать циклические ошибки или теряет логическую последовательность действий. Это помогает предотвратить «зацикливание» модели, при котором она бесконечно повторяет неверные шаги или отклоняется от заданного алгоритма решения. Hacker News · Исследования и наука Почему LLM теряют точность при выполнении длинных циклических задач Исследование выявило критическую проблему в работе больших языковых моделей при выполнении многошаговых итеративных процессов. С увеличением количества циклов вероятность ошибки возрастает экспоненциально из-за накопления отклонений от заданного протокола. Автор анализа вводит понятие «периода полураспада соблюдения протокола», объясняя, почему даже продвинутые модели склонны к деградации логики при выполнении длинных последовательностей действий. Hacker News · Инфраструктура для агентов Управление токенами и прерывание потоковых LLM-агентов в длительных процессах Разработчики агентных систем сталкиваются с проблемой неконтролируемого расхода токенов при выполнении длительных задач. Внедрение механизмов учета и принудительной отмены потоковых вызовов позволяет предотвратить избыточные затраты и зависания агентов. Использование паттернов для корректного завершения работы LLM в реальном времени становится критическим элементом архитектуры при создании надежных и экономически эффективных автономных систем. arXiv · Машинное обучение Latent Action Models: новый метод обучения агентов в визуально сложных средах Исследователи представили Latent Action Models (LAMs) — новый подход к обучению прокси-действий на основе визуальных переходов. Метод позволяет агентам выделять значимые действия из «шумных» сцен, где движения объекта смешиваются с динамикой камеры и фоновыми изменениями. Это решает проблему неоднозначности данных, позволяя эффективно обучаться без необходимости в прямой разметке действий в сложных визуальных средах. Hacker News · Оценка и бенчмарки Детерминированная альтернатива LLM-as-a-Judge для оценки агентных систем Исследователи представили метод детерминированной оценки состояний ИИ-агентов, предлагая альтернативу подходу LLM-as-a-Judge. Новый подход позволяет оценивать качество выполнения задач агентами без привлечения дорогостоящих и вариативных языковых моделей, обеспечивая воспроизводимость результатов. Это решение критически важно для отладки сложных агентных пайплайнов, где требуется высокая точность метрик при минимальных затратах на инференс.

← Все материалы