Исследователи представили архитектуру T^2MLR (Transformer with Temporal Middle-Layer Recurrence), решающую проблему ограниченности авторегрессионного декодирования. В отличие от стандартных трансформеров, которые вынуждены сжимать промежуточные вычисления через пространство токенов, новая модель использует кэшированное представление среднего слоя. Это позволяет сохранять состояние рассуждений на протяжении длительного времени, повышая эффективность обработки сложных логических задач и последовательностей.
Основная проблема классических трансформеров заключается в том, что при генерации каждого нового токена модель «забывает» часть контекста, так как промежуточные состояния вычислений не передаются напрямую между шагами. T^2MLR вводит механизм временной рекурсии, который позволяет модели удерживать «скрытые» состояния рассуждений в кэше среднего слоя. Это создает своего рода долгосрочную память для логических выводов, которая не ограничена рамками текущего окна внимания.
Такой подход позволяет модели лучше справляться с задачами, требующими многоступенчатого планирования и удержания контекста, который выходит за пределы стандартных механизмов self-attention. Архитектура обеспечивает более стабильную передачу информации между временными шагами, что критически важно для задач, где результат зависит от глубоких промежуточных вычислений, а не только от статистической вероятности следующего токена.
Ключевые факты
- T^2MLR внедряет механизм кэширования представлений среднего слоя для сохранения состояний рассуждений.
- Архитектура преодолевает ограничения авторегрессионного декодирования, где промежуточные вычисления теряются при переходе к следующему токену.
- Метод направлен на улучшение логического вывода в задачах, требующих длительного удержания контекста и многошагового планирования.
- Исследование опубликовано на платформе arXiv под идентификатором 2607.15178v1.