The latest research from Google · 24.06.2026 ·Исследования и наука

Исследование Google: как цепочки рассуждений улучшают извлечение знаний из LLM

Исследователи Google представили метод, который значительно повышает точность извлечения фактов из внутренней памяти больших языковых моделей. Вместо прямого запроса модель сначала генерирует цепочку рассуждений, что позволяет ей эффективнее активировать параметрические знания. Этот подход помогает преодолеть ограничения стандартных моделей при ответе на вопросы, требующие глубокого контекстного понимания или редких данных.

Традиционные методы извлечения информации часто сталкиваются с проблемой «галлюцинаций» или неспособностью модели вспомнить специфические факты, заложенные в веса при обучении. Новый подход, названный «Thinking to Recall», заставляет модель структурировать процесс поиска ответа, разбивая его на логические этапы. Это имитирует человеческий процесс вспоминания, когда ассоциации и контекстуальные связи помогают восстановить забытую информацию.

Эксперименты показали, что использование промежуточных рассуждений позволяет моделям лучше справляться с задачами на проверку знаний, где требуется высокая точность. Метод не требует дообучения (fine-tuning) и может быть применен к существующим архитектурам через изменение промптов или стратегий генерации. Это открывает путь к созданию более надежных систем, которые опираются на свои внутренние знания без необходимости постоянного обращения к внешним базам данных.

Ключевые факты

Метод «Thinking to Recall» фокусируется на активации параметрических знаний через генерацию цепочки рассуждений перед ответом.
Исследование подтверждает, что структурированный мыслительный процесс снижает количество ошибок при извлечении фактов из весов модели.
Техника не требует изменения архитектуры или дополнительного обучения, что упрощает её внедрение в текущие LLM-системы.
Подход демонстрирует эффективность в задачах, требующих точного воспроизведения редких или узкоспециализированных данных, заложенных в модель.

Источник: The latest research from Google

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Исследование: как устранить избыточное рассуждение в LLM Учёные изучили проблему избыточного рассуждения (overthinking) в языковых моделях, когда они продолжают генерировать ненужные шаги после нахождения правильного ответа. Это явление особенно заметно в задачах, требующих длинных цепочек рассуждений (chain-of-thought reasoning). arXiv · Исследования и наука Метод разрешения конфликтов знаний в LLM при работе с внешними данными Исследователи представили новый подход к решению проблемы противоречий между внутренними параметрическими знаниями языковых моделей и информацией, поступающей из внешнего контекста. В современных системах, использующих RAG или длинные промпты, модель часто сталкивается с ситуацией, когда данные в запросе пользователя противоречат тому, что было «выучено» моделью в процессе обучения. Это приводит к галлюцинациям или снижению точности ответов, так как модель не может эффективно приоритизировать источники данных. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Исследования и наука Исследование методов отслеживания влияния обучающих данных на ответы LLM Исследователи проанализировали два ключевых подхода к интерпретации поведения больших языковых моделей: оценку сходства данных (data-similarity) и оценку влияния данных (data-influence). Первый метод основан на поиске семантической близости между запросом и обучающей выборкой, что требует значительно меньше вычислительных ресурсов. Второй метод направлен на определение того, как конкретные примеры из обучающего набора напрямую меняют веса модели и влияют на итоговый результат, что считается более точным, но трудоемким процессом. arXiv · Исследования и наука LLM как ассоциативная память: новый взгляд на логические рассуждения Исследователи представили новую теоретическую модель, рассматривающую большие языковые модели не как простые авторегрессионные генераторы, а как высокоразмерные ассоциативные памяти. Авторы доказывают, что цепочки логических рассуждений соответствуют глубоким аттракторам в энергетическом ландшафте модели. Использование минимизации энергии по Гиббсу позволяет извлекать скрытые паттерны мышления, что открывает новые пути для повышения точности и надежности ИИ в сложных математических задачах. arXiv · Исследования и наука Исследование факторов эффективности обучения с подкреплением для рассуждений LLM Исследователи проанализировали механизмы обучения с подкреплением на основе верифицируемых наград (RLVR), которые активно применяются для улучшения логических способностей больших языковых моделей. Несмотря на популярность метода, текущие подходы к его реализации часто опираются на эмпирические догадки, что приводит к разрозненным и порой противоречивым алгоритмическим решениям. Авторы работы систематизировали ключевые факторы, влияющие на стабильность и результативность процесса обучения. The latest research from Google · Память и RAG Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. arXiv · Исследования и наука Исследование методов доступа к параметрическим знаниям LLM через кросс-языковые промпты Исследователи изучили проблему неравномерного доступа к параметрическим знаниям в больших языковых моделях при смене языка запроса. Стандартные методы инференса часто не справляются с извлечением локализованных фактов, что нарушает консистентность ответов. Авторы предложили стратегии кросс-языкового промптинга, позволяющие эффективнее активировать скрытые знания модели и улучшить качество передачи информации между различными языковыми доменами в процессе генерации. arXiv · Машинное обучение Large Language Gibbs: новый подход к вероятностному выводу в LLM Исследователи представили метод Large Language Gibbs, направленный на решение проблемы структурированного логического вывода с использованием больших языковых моделей. Основная сложность при работе с LLM заключается в том, что их внутренние знания часто трудно интерпретировать в рамках строгих вероятностных моделей. Новый подход предлагает использовать условные распределения языковой модели в качестве переходов в цепочке Гиббса, что позволяет модели выполнять более точные вычисления при работе с переменными, описывающими сложные системы. arXiv · Машинное обучение Метод MAST для точечного удаления нежелательных навыков рассуждения в LLM Исследователи представили метод MAST (Mechanism-Aligned Selective Targeting), предназначенный для избирательного удаления специфических паттернов рассуждения, привитых моделям через обучение с подкреплением (RLVR). Традиционные подходы к «забыванию» (unlearning) часто приводят к деградации общих способностей модели из-за полнопараметрических обновлений. Новый метод позволяет изолировать и корректировать только те веса, которые отвечают за конкретные логические цепочки, минимизируя побочный ущерб для базовых знаний модели.

← Все материалы