arXiv · 17.06.2026 ·Машинное обучение

Новый метод обучения моделей рассуждения через рубрицированную самодистилляцию

Исследователи представили метод обучения языковых моделей, который меняет подход к формированию навыков логического вывода. Традиционное дообучение моделей часто опирается на цепочки рассуждений (chain-of-thought), которые требуют дорогостоящей разметки человеком. Такие данные нередко содержат ошибки или неполные логические переходы, что негативно сказывается на качестве обучения, даже если итоговый ответ модели оказывается верным.

Предложенный подход, названный «рубрицированной самодистилляцией», исключает необходимость в жесткой разметке каждого шага рассуждения. Вместо этого модель обучается на основе заранее заданных критериев оценки — рубрик, которые определяют качество логики. Система оценивает процесс мышления модели через призму этих правил, позволяя ей самостоятельно фильтровать и улучшать свои цепочки рассуждений в процессе обучения.

Этот метод позволяет снизить зависимость от зашумленных человеческих данных и повысить надежность моделей в задачах, требующих многоступенчатых вычислений. Авторы исследования отмечают, что такой подход делает процесс дообучения более эффективным, так как модель учится не просто имитировать готовые ответы, а следовать заданным стандартам логической корректности. Это открывает путь к созданию более автономных и точных систем для решения сложных аналитических задач.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Новый метод обучения мультимодальных моделей через разделение восприятия и рассуждения Исследователи представили метод обучения мультимодальных моделей, который решает проблему «коротких путей» при использовании самодистилляции. Традиционный подход, при котором модель обучается на собственных результатах с опорой на эталонные данные, часто приводит к тому, что мультимодальные системы игнорируют визуальный контекст, полагаясь исключительно на текстовые подсказки. Новый алгоритм разделяет процессы восприятия изображения и логического рассуждения, что заставляет модель учитывать визуальные признаки как равноправный источник информации. arXiv · Машинное обучение Исследование: как устранить избыточное рассуждение в LLM Учёные изучили проблему избыточного рассуждения (overthinking) в языковых моделях, когда они продолжают генерировать ненужные шаги после нахождения правильного ответа. Это явление особенно заметно в задачах, требующих длинных цепочек рассуждений (chain-of-thought reasoning). arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Машинное обучение Метод MAST для точечного удаления нежелательных навыков рассуждения в LLM Исследователи представили метод MAST (Mechanism-Aligned Selective Targeting), предназначенный для избирательного удаления специфических паттернов рассуждения, привитых моделям через обучение с подкреплением (RLVR). Традиционные подходы к «забыванию» (unlearning) часто приводят к деградации общих способностей модели из-за полнопараметрических обновлений. Новый метод позволяет изолировать и корректировать только те веса, которые отвечают за конкретные логические цепочки, минимизируя побочный ущерб для базовых знаний модели. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. arXiv · Машинное обучение Новый метод обучения dLLMs через самодистилляцию Исследователи предложили новый подход к обучению диффузионных языковых моделей (dLLMs) — on-policy self-distillation (OPSD). Этот метод уже показал свою эффективность для обычных языковых моделей, но его применение к dLLMs оставалось неизученным. The latest research from Google · Память и RAG Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Машинное обучение Улучшение многоязычного логического вывода через управляемое слияние моделей Исследователи представили новый метод объединения нейросетевых архитектур, направленный на повышение качества логического вывода в многоязычных задачах. Техника слияния моделей позволяет эффективно комбинировать способности специализированных систем, отвечающих за глубокое рассуждение, с возможностями моделей, обученных на широком спектре языков. Основная сложность подобных подходов заключается в конфликтах между весами исходных моделей, которые часто приводят к снижению точности итогового решения. arXiv · Исследования и наука Новый подход к формальному доказательству теорем с помощью диффузионных моделей Исследователи представили метод Diffusion-Proof, направленный на преодоление ограничений стандартных авторегрессионных языковых моделей в задачах формальной математики. Традиционные модели, предсказывающие следующий токен, часто сталкиваются с трудностями при построении длинных логических цепочек, необходимых для верификации сложных математических доказательств. Новый подход переносит принципы диффузионных процессов в область формального вывода, позволяя моделям более эффективно исследовать пространство возможных доказательств.

← Все материалы