Исследователи представили SWE-Pruner Pro — метод оптимизации контекста для ИИ-агентов, пишущих код. В отличие от предшественников, использующих внешние классификаторы, новый подход задействует внутренние представления самой модели для оценки релевантности фрагментов кода. Это позволяет эффективнее управлять длинным контекстом, отсекая лишние данные без привлечения дополнительных вычислительных мощностей для классификации.
Работа кодинг-агентов часто ограничена размером контекстного окна, что заставляет разработчиков искать способы сжатия информации. Традиционные методы, такие как оригинальный SWE-Pruner, полагались на отдельные модели-классификаторы для определения важности тех или иных участков кода. Авторы SWE-Pruner Pro обнаружили, что LLM в процессе чтения выводов инструментов уже формируют скрытые сигналы о значимости данных, которые можно использовать для динамической фильтрации.
Использование внутренних представлений модели позволяет сократить объем обрабатываемой информации, сохраняя при этом высокую точность выполнения задач. Такой подход снижает нагрузку на инференс и ускоряет работу агентов в сложных репозиториях, где объем кода значительно превышает лимиты контекстного окна. Технология ориентирована на повышение производительности систем автоматизированного программирования и оптимизацию ресурсов при работе с большими проектами.
Ключевые факты
- SWE-Pruner Pro использует внутренние представления LLM для фильтрации контекста вместо внешних классификаторов.
- Метод направлен на решение проблемы ограниченного контекстного окна при работе с крупными кодовыми базами.
- Технология позволяет агентам динамически определять релевантность кода в процессе обработки вывода инструментов.
- Подход снижает вычислительные затраты на управление контекстом, сохраняя качество генерации кода.