Исследователи представили архитектуру Looped Transformers, которая объединяет скрытые (латентные) и явные процессы рассуждения в рамках единой модели. Метод позволяет итеративно уточнять логические выводы, используя циклическую обработку данных. Это решение значительно повышает точность моделей в задачах, требующих многошагового планирования и глубокого анализа, преодолевая ограничения стандартных трансформеров при решении сложных логических цепочек.

Традиционные трансформеры ограничены фиксированным количеством слоев, что затрудняет выполнение задач, требующих динамического объема вычислений. Новый подход вводит механизм циклов, позволяющий модели «размышлять» над задачей дольше, если это необходимо для достижения корректного результата. Это приближает поведение нейросетей к человеческому процессу обдумывания, где сложность задачи определяет время, затраченное на поиск ответа.

Авторы исследования продемонстрировали, что интеграция циклической логики позволяет моделям лучше справляться с математическими вычислениями и задачами на программирование, где критически важна последовательность действий. Метод не требует радикальной перестройки архитектуры, что делает его перспективным для внедрения в существующие LLM для повышения их надежности в агентных сценариях.

Ключевые факты

  • Метод Looped Transformers позволяет динамически адаптировать глубину рассуждений в зависимости от сложности входного запроса.
  • Архитектура успешно объединяет скрытые представления модели с явными шагами логического вывода.
  • Тестирование показало значительный прирост точности в задачах, требующих многоэтапного планирования и строгой логики.
  • Подход решает проблему фиксированного вычислительного бюджета, характерную для классических архитектур трансформеров.