Исследователи предложили новый метод повышения эффективности логических рассуждений LLM через использование «точечных токенов» (dot tokens). Техника позволяет модели выполнять дополнительные скрытые вычисления в процессе генерации, не увеличивая при этом количество параметров. Это дает возможность разбивать сложные задачи на промежуточные этапы, улучшая качество ответов в многошаговых сценариях без необходимости дообучения всей архитектуры.
Суть подхода заключается в принудительной вставке специальных токенов в последовательность, которые служат «паузами» для обработки информации. В эти моменты модель получает возможность «подумать» над контекстом, прежде чем перейти к следующему логическому шагу. Это напоминает механизм Chain-of-Thought, но перенесенный на уровень скрытых состояний трансформера, что делает процесс более компактным и менее зависимым от длины явного текстового вывода.
Данный метод открывает новые перспективы для оптимизации инференса, позволяя моделям решать более глубокие аналитические задачи с меньшими затратами ресурсов. Вместо того чтобы генерировать длинные цепочки рассуждений, которые могут зашумлять контекстное окно, система использует внутренние циклы обработки, сохраняя высокую точность при выполнении сложных инструкций.
Ключевые факты
- Метод использует dot tokens для активации скрытых вычислительных циклов внутри LLM.
- Техника направлена на улучшение многошагового рассуждения без изменения архитектуры или дообучения модели.
- Подход позволяет модели выполнять дополнительные вычисления в процессе генерации, повышая качество логических выводов.
- Метод снижает потребность в длинных текстовых цепочках рассуждений, экономя токены контекстного окна.