Исследователи представили BDH-CQ — модель, объединяющую обучение в контексте (in-context learning) с рекуррентным скрытым рассуждением. В отличие от стандартных LLM, система обновляет внутреннюю память при получении новых данных и решает задачи через итеративные вычисления в многомерном скрытом пространстве, не прибегая к вербализации промежуточных шагов. Эффективность подхода подтверждена на бенчмарке ARC-AGI-1.
Традиционные модели часто полагаются на «цепочку мыслей» (Chain-of-Thought), выводя промежуточные рассуждения в текстовом виде, что потребляет дополнительные токены и увеличивает время генерации. BDH-CQ переносит этот процесс на уровень скрытых представлений. Это позволяет модели выполнять сложные логические операции «внутри», используя рекуррентный механизм для накопления контекста по мере поступления входных данных.
Такой подход открывает путь к созданию более компактных и быстрых систем, способных решать задачи на логику и абстрактное мышление без необходимости генерировать длинные объяснения. Итеративный характер вычислений в скрытом пространстве позволяет модели уточнять ответ по мере обработки информации, что критически важно для задач, требующих многошагового планирования или анализа визуальных паттернов.
Ключевые факты
- BDH-CQ использует рекуррентную память для непрерывного обновления состояния модели на основе входящих данных.
- Модель выполняет итеративные вычисления в высокоразмерном скрытом пространстве без вывода промежуточных текстовых рассуждений.
- Эффективность архитектуры протестирована на публичном наборе данных ARC-AGI-1, предназначенном для оценки способностей ИИ к абстрактному мышлению.
- Метод позволяет сократить количество токенов, необходимых для выполнения сложных логических задач, за счет отказа от вербализации процесса мышления.