Hacker News · 04.08.2026 ·Обучение и дообучение

Дообучение LLM методом RL для борьбы с «замусоренным» стилем письма

Разработчик применил методы обучения с подкреплением (RL) для дообучения языковой модели, чтобы избавить её от типичных «ИИ-штампов» и избыточности в тексте. Автор сосредоточился на устранении характерных для GPT-4 конструкций, которые делают контент неестественным и перегруженным, добившись более лаконичного и человечного стиля изложения через итеративную оптимизацию предпочтений модели.

Процесс «unsloping» (очистки от слопа) включал создание набора данных с примерами «плохого» и «хорошего» текста, а также использование алгоритма DPO (Direct Preference Optimization) для настройки весов модели. Основная сложность заключалась в том, чтобы сохранить способность модели следовать инструкциям, не превращая её в слишком сухой или непредсказуемый инструмент. В результате удалось существенно снизить частоту использования слов-паразитов, свойственных современным LLM, таких как «delve», «tapestry» или «testament».

Этот подход демонстрирует, как с помощью относительно небольших вычислительных ресурсов можно адаптировать поведение готовых моделей под специфические стилистические требования. Вместо классического SFT (Supervised Fine-Tuning), использование RL позволило модели лучше «почувствовать» разницу между качественным копирайтингом и стандартным выводом нейросетей, который часто воспринимается читателями как шаблонный.

Ключевые факты

Использован метод DPO для дообучения модели с целью изменения стилистических предпочтений.
Основная цель — удаление избыточных прилагательных и клише, характерных для ответов GPT-4.
Модель обучалась на специально подготовленном датасете, где предпочтение отдавалось более прямолинейным и кратким формулировкам.
Метод позволил значительно сократить использование «ИИ-маркеров» в тексте без потери логической связности и точности ответов.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Исследование DS4: как латентное рассуждение меняет логику LLM Исследователи представили метод DS4 (Deep Search, Deep Synthesis, Deep Selection, Deep Strategy), направленный на улучшение логического мышления языковых моделей. В отличие от стандартных подходов, DS4 фокусируется на латентном рассуждении, позволяя модели глубже анализировать контекст и избегать типичных когнитивных искажений, таких как гендерные стереотипы при решении логических задач. Hacker News · Машинное обучение Роль обучения с подкреплением в развитии современных LLM Hugging Face представил подробный разбор обучения с подкреплением (RL) в контексте больших языковых моделей. Материал объясняет, как методы RL, включая PPO и DPO, позволяют настраивать поведение моделей в соответствии с предпочтениями человека. Это фундаментальный этап, превращающий базовые модели, обученные на предсказании следующего токена, в полезных и безопасных ИИ-ассистентов, способных следовать сложным инструкциям. Hacker News · Машинное обучение Борьба с «ИИ-лексикой» через настройку logit_bias Автор эксперимента предложил метод борьбы с шаблонным стилем генеративных моделей, используя параметр `logit_bias` для принудительного исключения типичных «ИИ-слов». Ограничивая вероятность появления таких выражений, как «delve», «tapestry» или «testament», удалось добиться более естественного звучания текста. Этот подход позволяет гибко настраивать стилистику вывода LLM без необходимости полноценного дообучения модели. Hacker News · Обучение и дообучение Практические уроки дообучения моделей с помощью обучения с подкреплением Исследователи опубликовали детальный разбор экспериментов по пост-тренировке языковых моделей с использованием обучения с подкреплением (RL). В работе проанализированы ключевые факторы, влияющие на стабильность процесса и итоговое качество ответов, включая выбор стратегий оптимизации, подбор параметров вознаграждения и методы предотвращения деградации модели при интенсивном обучении на предпочтениях пользователей. arXiv · Машинное обучение Новый метод обучения языковых моделей с комбинированием верифицируемых наград и человеческих предпочтений Исследователи представили метод обучения языковых моделей, объединяющий RLVR (обучение с подкреплением на основе верифицируемых наград) и человеческие демонстрации. Подход позволяет оптимизировать модели не только по объективным метрикам, таким как корректность кода или математических вычислений, но и учитывать субъективные аспекты качества текста, включая стиль, структуру и логическую связность, которые ранее игнорировались традиционными алгоритмами. arXiv · Машинное обучение Метод MAST для точечного удаления нежелательных навыков рассуждения в LLM Исследователи представили метод MAST (Mechanism-Aligned Selective Targeting), предназначенный для избирательного удаления специфических паттернов рассуждения, привитых моделям через обучение с подкреплением (RLVR). Традиционные подходы к «забыванию» (unlearning) часто приводят к деградации общих способностей модели из-за полнопараметрических обновлений. Новый метод позволяет изолировать и корректировать только те веса, которые отвечают за конкретные логические цепочки, минимизируя побочный ущерб для базовых знаний модели. arXiv · Безопасность и алайнмент Метод защиты LLM от отравления данных при дообучении Исследователи представили метод «Detect, Unlearn, Restore» для защиты моделей суммаризации текста от атак типа data poisoning. Техника позволяет выявлять вредоносные примеры в обучающей выборке, удалять их влияние на веса модели и восстанавливать исходную производительность системы. Это критически важно для защиты специализированных LLM, которые подвержены манипуляциям через небольшие наборы данных при дообучении. arXiv · Исследования и наука Метод обучения LLM через извлечение абстракций из опыта решения задач Исследователи предложили новый подход к обучению LLM, имитирующий человеческую способность превращать опыт в абстрактные стратегии. Модели анализируют свои цепочки рассуждений при решении задач из набора MATH, извлекая из них полезные выводы и предостережения. Эти абстракции затем используются для повышения эффективности решения последующих, более сложных задач, что значительно улучшает показатели точности моделей. arXiv · Машинное обучение Исследование: как устранить избыточное рассуждение в LLM Учёные изучили проблему избыточного рассуждения (overthinking) в языковых моделях, когда они продолжают генерировать ненужные шаги после нахождения правильного ответа. Это явление особенно заметно в задачах, требующих длинных цепочек рассуждений (chain-of-thought reasoning). arXiv · Обучение и дообучение Метод Neuron-Aware для самообучения LLM без участия человека Исследователи представили метод Neuron-Aware Data Selection, позволяющий дообучать большие языковые модели без использования человеческой разметки или внешних экспертных данных. Технология опирается на самодистилляцию, где модель использует собственные выходы в качестве обучающих сигналов. Подход фокусируется на отборе наиболее информативных данных через анализ активации нейронов, что значительно повышает качество генерации в специализированных областях при отсутствии дорогостоящих аннотаций.

← Все материалы