Исследователи представили метод CompactionRL, решающий проблему ограниченного контекстного окна у LLM при выполнении длительных задач. Алгоритм использует обучение с подкреплением для сжатия истории взаимодействий агента, позволяя сохранять критически важную информацию в компактном виде. Это позволяет агентам эффективно завершать сложные многошаговые процессы, не превышая лимиты токенов и сохраняя высокую точность принятия решений.
Основная сложность при работе с длинными траекториями заключается в том, что накопленный опыт быстро заполняет доступное контекстное окно, вынуждая систему либо обрезать данные, либо терять контекст. CompactionRL внедряет механизм сжатия непосредственно в цикл обучения, где модель учится выбирать наиболее значимые фрагменты предыдущих состояний. Такой подход превращает процесс суммаризации в динамическую задачу, оптимизированную под конкретные цели агента.
В отличие от стандартных методов RAG или статической суммаризации, данный подход обеспечивает непрерывность обучения. Агент не просто хранит историю, а постоянно перерабатывает её в сжатый векторный формат, который служит «памятью» для последующих шагов. Это значительно снижает вычислительные затраты на инференс и позволяет масштабировать агентные системы на задачи, требующие тысяч итераций взаимодействия.
Ключевые факты
- Метод CompactionRL интегрирует сжатие контекста непосредственно в процесс обучения с подкреплением (RL).
- Технология позволяет агентам преодолевать ограничения фиксированного контекстного окна при выполнении долгосрочных задач.
- Алгоритм динамически суммирует предыдущие состояния, сохраняя только релевантную для завершения задачи информацию.
- Решение направлено на повышение эффективности агентных систем, работающих в средах с высокой длительностью взаимодействия.