arXiv · 16.06.2026 ·Машинное обучение

Исследование: как устранить избыточное рассуждение в LLM

Учёные изучили проблему избыточного рассуждения (overthinking) в языковых моделях, когда они продолжают генерировать ненужные шаги после нахождения правильного ответа. Это явление особенно заметно в задачах, требующих длинных цепочек рассуждений (chain-of-thought reasoning).

В исследовании предложен подход на основе GRPO-стиля обучения с подкреплением (reinforcement learning), который рассматривает проблему как задачу распределения кредита на этапе обучения. Авторы показывают, что динамическое редактирование развёртывания (dynamic rollout editing) помогает моделям останавливать генерацию после достижения корректного решения.

Метод был протестирован на нескольких задачах, демонстрируя улучшение качества ответов и снижение избыточных шагов. Исследование опубликовано на arXiv и может быть полезно для разработчиков, работающих с языковыми моделями и их оптимизацией.

Работа подчёркивает важность контроля за процессом генерации в LLM, особенно в контексте применения их в сложных задачах, где точность и эффективность критически важны.

Источник: arXiv

Похожие материалы

arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Hacker News · Исследования и наука Исследование: как LLMs справляются с юридическими рассуждениями Учёные из Стэнфорда и MIT провели исследование, посвящённое способности языковых моделей (LLMs) решать юридические задачи и автоматически формализовать правовые тексты. В работе, опубликованной на arXiv, авторы оценили точность и последовательность моделей в интерпретации законов и применении их к конкретным случаям. Hacker News · Машинное обучение Практическое руководство по дообучению LLM Исследователи представили подробное руководство по дообучению языковых моделей (LLM). Документ охватывает ключевые аспекты, включая выбор данных, настройку гиперпараметров и оценку результатов. Авторы подчеркивают важность качества данных и предлагают методы для минимизации шума и смещения. arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Исследования и наука Исследование: как языковые модели теряют логику при замене переменных Учёные из MIT и других институтов обнаружили любопытный феномен в языковых моделях: при замене переменных в задачах на каузальное рассуждение на нейтральные маркеры (например, «X» вместо «Джон») модели начинают давать разные ответы, хотя структура вопроса и правильный ответ остаются неизменными. Это указывает на то, что модели либо теряют часть информации при такой замене, либо не могут корректно интерпретировать сохранённую информацию. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. Hacker News · Исследования и наука Исследование: могут ли LLM-агенты строить модели мира Учёные изучают способность языковых моделей (LLM) строить модели мира через агентное поведение. В новом исследовании, опубликованном на arXiv, рассматривается, как агентные автоматические системы могут обучаться и адаптироваться в динамических средах. arXiv · Модели и релизы Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. Hacker News · Инфраструктура для агентов Anti-slopping: метод для борьбы с шаблонными ответами ЛЛМ Исследователи из Thoughtworks представили метод Anti-slopping, направленный на устранение шаблонных и банальных ответов, которые часто генерируют языковые модели. Проблема «сопливых» (sloppy) ответов — это распространённая жалоба пользователей ИИ-агентов, особенно в контексте чат-ботов и виртуальных ассистентов. Anti-slopping предлагает алгоритмический подход для выявления и исправления таких шаблонных фраз, что может значительно повысить качество взаимодействия с ИИ-агентами. arXiv · Безопасность и алайнмент GAS-Leak-LLM: генетический алгоритм для взлома LLM Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам.

← Все материалы