Исследователь представил подход к выполнению логических операций внутри латентного пространства языковой модели, минуя стадию декодирования токенов. Вместо генерации текста на каждом шаге рассуждения, модель оперирует скрытыми представлениями, что позволяет сократить вычислительные затраты и избежать накопления ошибок, характерных для авторегрессионных систем, где модель вынуждена опираться на свои предыдущие, возможно неверные, текстовые выводы.
Традиционные методы Chain-of-Thought требуют от модели явного вывода промежуточных шагов в виде текста, что увеличивает время генерации и потребление токенов. Новый подход предполагает использование специальных векторов-инструкций, которые направляют скрытые состояния модели к правильному решению задачи. Это позволяет системе «думать» над ответом, оставаясь в рамках математического представления данных, и переходить к генерации естественного языка только на финальном этапе.
Эксперименты показывают, что такой метод эффективен для задач, требующих многоступенчатой логики, где промежуточные текстовые ответы могут сбивать модель с толку. Отказ от декодирования на каждом шаге не только ускоряет процесс инференса, но и открывает возможности для более глубокого контроля над процессом формирования ответа, так как манипуляции в латентном пространстве позволяют точнее настраивать вектор рассуждений.
Ключевые факты
- Метод исключает генерацию промежуточных токенов, что снижает задержку при выполнении сложных логических цепочек.
- Рассуждения происходят исключительно через манипуляции со скрытыми состояниями (hidden states) модели.
- Подход решает проблему «галлюцинаций» и ошибок, возникающих при опоре модели на ранее сгенерированный, но неверный текст.
- Технология позволяет использовать вычислительные ресурсы более эффективно за счет сокращения количества операций декодирования.