arXiv · 02.08.2026 ·Машинное обучение

Cloud-ScPO: новый метод оптимизации рассуждений LLM через геометрию скрытых состояний

Исследователи представили метод Cloud-ScPO для улучшения математических рассуждений в LLM без необходимости в размеченных данных или внешних моделях вознаграждения. Подход опирается на анализ геометрии скрытых состояний модели, позволяя извлекать предпочтения непосредственно из траекторий рассуждений. Это снижает зависимость от дорогостоящей человеческой разметки и верифицированных ответов при обучении моделей с подкреплением.

Традиционные методы оптимизации предпочтений (DPO, PPO) требуют наличия пар «выбранный-отклоненный» ответов, что затрудняет масштабирование обучения для сложных задач. Cloud-ScPO анализирует внутренние представления модели в процессе генерации цепочки рассуждений. Метод выявляет закономерности в скрытых состояниях, которые коррелируют с успешным решением задачи, и использует их как сигнал для дообучения.

Такой подход позволяет использовать неразмеченные данные для повышения точности моделей в задачах, требующих многошаговой логики. Использование внутренней геометрии скрытых пространств открывает путь к более эффективному самообучению моделей, где модель сама определяет качество своих промежуточных шагов, опираясь на структуру своих же внутренних представлений.

Ключевые факты

Метод Cloud-ScPO исключает потребность в верифицированных ответах и внешних reward-моделях.
Оптимизация базируется на анализе геометрии скрытых состояний (hidden-state geometry) в процессе генерации.
Подход ориентирован на улучшение математических рассуждений и логических цепочек в LLM.
Техника работает в полуавтоматическом режиме (semi-supervised), используя внутренние сигналы модели для формирования предпочтений.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Обучение и дообучение Путь от академического исследования до Frontier LLM через DPO Метод Direct Preference Optimization (DPO) стал стандартом для настройки поведения современных языковых моделей. В отличие от традиционного обучения с подкреплением на основе отзывов людей (RLHF), DPO позволяет оптимизировать модель напрямую через пары предпочтений, исключая необходимость в обучении отдельной модели вознаграждения. Это значительно упрощает пайплайн дообучения и повышает стабильность итоговых результатов. arXiv · Исследования и наука Метод Partition, Prompt, Aggregate для повышения точности LLM Исследователи представили метод Partition, Prompt, Aggregate (PPA), направленный на улучшение логических выводов LLM через использование закона полной вероятности. Подход разбивает сложные задачи на подмножества, анализирует их независимо и агрегирует результаты, что позволяет модели достигать более высокой статистической согласованности ответов и снижать вероятность галлюцинаций при выполнении многошаговых рассуждений. arXiv · Машинное обучение Новый метод Predictive Divergence Masks для стабилизации обучения LLM с подкреплением Исследователи представили метод Predictive Divergence Masks, оптимизирующий процесс обучения LLM с подкреплением (RL). Новый подход заменяет стандартные маски доверительной области, используемые в PPO, более точными критериями близости и направления. Это позволяет эффективнее контролировать обновления политики, предотвращая деградацию модели при работе с off-policy данными и повышая общую стабильность обучения. arXiv · Машинное обучение Новый метод Process Advantage Signal Shaping для обучения LLM с рассуждениями Исследователи представили метод Process Advantage Signal Shaping (PASS), направленный на оптимизацию обучения LLM с использованием подкрепления (RL). Новый подход решает проблему нестабильности сигналов при использовании GRPO, позволяя более эффективно интегрировать пошаговые награды (PRM) в процесс обучения моделей, склонных к сложным логическим рассуждениям, что повышает точность итоговых ответов. arXiv · Исследования и наука Метод обучения LLM через извлечение абстракций из опыта решения задач Исследователи предложили новый подход к обучению LLM, имитирующий человеческую способность превращать опыт в абстрактные стратегии. Модели анализируют свои цепочки рассуждений при решении задач из набора MATH, извлекая из них полезные выводы и предостережения. Эти абстракции затем используются для повышения эффективности решения последующих, более сложных задач, что значительно улучшает показатели точности моделей. arXiv · Исследования и наука Метод Off-Context GRPO для обучения моделей рассуждению на сложных задачах Исследователи представили метод Off-Context GRPO, решающий проблему «нулевого сигнала» при обучении моделей с подкреплением (RLVR). В сложных задачах, где модель не может найти верный ответ, стандартные алгоритмы перестают обучаться. Новый подход использует привилегированную информацию, такую как префиксы решений, для направления процесса обучения и преодоления барьера сложности в задачах с верифицируемыми результатами. Hacker News · Исследования и наука Метод dot tokens для улучшения многошаговых рассуждений в LLM Исследователи предложили новый метод повышения эффективности логических рассуждений LLM через использование «точечных токенов» (dot tokens). Техника позволяет модели выполнять дополнительные скрытые вычисления в процессе генерации, не увеличивая при этом количество параметров. Это дает возможность разбивать сложные задачи на промежуточные этапы, улучшая качество ответов в многошаговых сценариях без необходимости дообучения всей архитектуры. Hacker News · Исследования и наука Исследование DS4: как латентное рассуждение меняет логику LLM Исследователи представили метод DS4 (Deep Search, Deep Synthesis, Deep Selection, Deep Strategy), направленный на улучшение логического мышления языковых моделей. В отличие от стандартных подходов, DS4 фокусируется на латентном рассуждении, позволяя модели глубже анализировать контекст и избегать типичных когнитивных искажений, таких как гендерные стереотипы при решении логических задач. The latest research from Google · Исследования и наука Исследование Google: как цепочки рассуждений улучшают извлечение знаний из LLM Исследователи Google представили метод, который значительно повышает точность извлечения фактов из внутренней памяти больших языковых моделей. Вместо прямого запроса модель сначала генерирует цепочку рассуждений, что позволяет ей эффективнее активировать параметрические знания. Этот подход помогает преодолеть ограничения стандартных моделей при ответе на вопросы, требующие глубокого контекстного понимания или редких данных. arXiv · Исследования и наука Penelope: новый метод эффективного скрытого рассуждения для LLM Исследователи представили Penelope — архитектурный подход, позволяющий моделям выполнять сложные структурированные рассуждения без увеличения количества параметров или удлинения цепочки рассуждений (CoT). Метод использует локализованную латентную рекурсию, что позволяет выносить вычислительно затратные процессы за пределы авторегрессионной генерации токенов, снижая накладные расходы на инференс и повышая эффективность обработки логических задач.

← Все материалы