Исследователи обнаружили, что большие языковые модели в процессе генерации текста поддерживают внутреннее представление о том, сколько токенов им осталось вывести до завершения ответа. С помощью простых линейных зондов удалось доказать, что скрытые состояния модели содержат предсказуемую информацию о будущей длине последовательности, что указывает на наличие у LLM механизма планирования объема вывода.
В ходе экспериментов выяснилось, что эта информация кодируется линейно и сохраняется на протяжении всего процесса генерации. Модели демонстрируют высокую точность в оценке оставшегося количества токенов независимо от сложности задачи или тематики запроса. Это открытие ставит под сомнение представление о том, что LLM генерируют текст исключительно «на лету» без предварительного структурного планирования.
Данный механизм позволяет моделям адаптировать стиль и полноту ответов в зависимости от контекстных ограничений. Понимание того, как именно модели отслеживают длину вывода, открывает новые возможности для улучшения контроля над генерацией, предотвращения обрывов текста и более точной настройки параметров инференса в задачах, требующих строгого соблюдения лимитов по объему.
Ключевые факты
- Исследование подтвердило, что LLM кодируют информацию об оставшейся длине ответа в своих скрытых представлениях (hidden states).
- Для извлечения данных о длине использовались минимальные линейные зонды (linear probes), которые показали высокую точность предсказания.
- Механизм кодирования остается стабильным при различных типах задач, включая пошаговые рассуждения и краткие ответы.
- Результаты работы указывают на наличие скрытого процесса планирования объема генерации, который работает параллельно с предсказанием следующего токена.