arXiv · 07.08.2026 ·Обучение и дообучение

CreativeInstruct: новый метод обучения LLM для баланса качества и креативности

Исследователи представили CreativeInstruct — метод обучения, решающий проблему снижения креативности и разнообразия ответов LLM после стандартного SFT. Новый подход позволяет моделям сохранять высокое качество генерации, одновременно повышая вариативность текста. Это критически важно для задач, требующих творческого подхода, таких как написание художественных текстов или сложных сценариев в рамках обучения с подкреплением.

Традиционное обучение по инструкциям часто приводит к «усреднению» ответов модели, делая их предсказуемыми и шаблонными. Метод CreativeInstruct масштабируемо внедряет в процесс дообучения специальные наборы данных, которые обучают модель находить баланс между следованием строгим правилам и генерацией нестандартных, разнообразных решений. Это позволяет избежать деградации творческих способностей, которая обычно наблюдается при попытках повысить точность модели.

Авторы подчеркивают, что предложенный подход применим к широкому спектру архитектур и не требует значительных вычислительных затрат по сравнению с классическим fine-tuning. Результаты экспериментов показывают, что модели, обученные с использованием CreativeInstruct, демонстрируют более высокие показатели в тестах на креативность, сохраняя при этом способность следовать сложным логическим инструкциям без потери качества.

Ключевые факты

CreativeInstruct решает проблему снижения разнообразия ответов, возникающую после стандартного этапа пост-тренировки LLM.
Метод фокусируется на балансировке трех метрик: качества, креативности и разнообразия генерации.
Подход эффективен как для задач с явным требованием креативности, так и для улучшения результатов в обучении с подкреплением (RL).
Методология является масштабируемой и может быть интегрирована в существующие пайплайны дообучения моделей без существенного усложнения инфраструктуры.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение LLM-as-a-Coach: новый подход к обучению моделей через качественную обратную связь Исследователи представили метод Experiential Learning (EL), который меняет парадигму обучения LLM с простого скалярного вознаграждения на использование детальной текстовой обратной связи. Вместо того чтобы сжимать оценку до одного числа, модель-тренер анализирует действия агента и предоставляет структурированные рекомендации, что позволяет эффективнее обучать системы в задачах с открытым финалом, где стандартные метрики часто оказываются неэффективными. arXiv · Оценка и бенчмарки Метод CRAFT для диагностики ошибок LLM и автоматической генерации данных для дообучения Исследователи представили метод CRAFT, который переводит оценку языковых моделей с простого измерения метрик на глубокую диагностику причин неудач. Вместо фиксации факта ошибки система кластеризует проблемные примеры по логическим рубрикам, выявляя конкретные пробелы в способностях модели. Это позволяет автоматически генерировать целевые наборы данных для последующего дообучения, устраняя слабые места в архитектуре LLM. arXiv · Исследования и наука Генерация сложных вопросов для обучения с помощью LLM Исследователи представили метод автоматизированной генерации вопросов высокого порядка (High-Order Questioning) для образовательных целей с использованием больших языковых моделей. В отличие от простых проверочных заданий, такие вопросы стимулируют критическое мышление и глубокое понимание материала. Авторы работы демонстрируют, как LLM могут эффективно адаптировать учебный контент для многоязычных аудиторий, снижая нагрузку на преподавателей при составлении качественных проверочных материалов. Hacker News · Машинное обучение Улучшение креативного письма LLM через контроль энтропии Исследователи предложили метод повышения качества творческих текстов, генерируемых большими языковыми моделями, с помощью управления энтропией распределения вероятностей токенов. Вместо стандартного жадного поиска или случайного сэмплирования, подход динамически регулирует «непредсказуемость» выбора слов, что позволяет моделям избегать клише и создавать более выразительные, разнообразные и стилистически связные повествования в задачах креативного письма. arXiv · Исследования и наука Новый подход к обучению LLM через концепцию Skill Entropy Исследователи представили методологию Skill Entropy для оценки и тренировки LLM в задачах с длинным горизонтом планирования. Метод фокусируется на способности моделей переключаться между различными навыками, такими как математические вычисления и логическое планирование, внутри одной цепочки рассуждений. Это позволяет лучше оценивать эффективность моделей в сложных многошаговых задачах, где результат каждого этапа критически зависит от предыдущего. arXiv · Исследования и наука Метод обучения LLM через извлечение абстракций из опыта решения задач Исследователи предложили новый подход к обучению LLM, имитирующий человеческую способность превращать опыт в абстрактные стратегии. Модели анализируют свои цепочки рассуждений при решении задач из набора MATH, извлекая из них полезные выводы и предостережения. Эти абстракции затем используются для повышения эффективности решения последующих, более сложных задач, что значительно улучшает показатели точности моделей. arXiv · Машинное обучение Метод Skill Self-Play для автоматического развития навыков LLM Исследователи представили метод Skill Self-Play, позволяющий языковым моделям самостоятельно развивать навыки через итеративное взаимодействие. Подход решает проблему выбора между узкой специализацией и низкой точностью верификации, предлагая систему совместной эволюции навыков. Модели обучаются в динамической среде, где генерация задач и их проверка происходят параллельно, что значительно расширяет границы возможностей LLM без участия человека. Hacker News · Исследования и наука Метакогнитивная обратная связь повышает точность оценки неопределенности в LLM Исследователи представили новый метод обучения LLM с использованием метакогнитивной обратной связи (RLMF), который значительно улучшает способность моделей оценивать собственную уверенность в ответах. В отличие от стандартного обучения с подкреплением, этот подход заставляет модель анализировать процесс собственного мышления, что снижает количество галлюцинаций и позволяет точнее определять границы знаний при решении сложных задач. arXiv · Оценка и бенчмарки Масштабируемая и надежная автоматизированная оценка ответов LLM Исследователи представили новый подход к автоматизированной оценке качества и релевантности ответов больших языковых моделей. Метод решает проблему зависимости от эталонных текстов, позволяя оценивать сложные и вариативные генерации без необходимости в жестких референсах. Это открывает путь к более эффективному тестированию моделей в областях, где отсутствуют готовые объективные бенчмарки и требуется высокая точность оценки. arXiv · Исследования и наука Использование LLM для прогнозирования сложности заданий через когнитивные эпизоды Исследователи представили метод оценки сложности учебных заданий для человека, основанный на анализе цепочек рассуждений больших языковых моделей. Вместо традиционной калибровки по результатам тестирования, подход фокусируется на «когнитивных эпизодах» — ключевых этапах логического вывода модели. Это позволяет не только точнее предсказывать уровень сложности, но и интерпретировать, какие именно мыслительные процессы вызывают затруднения у учащихся.

← Все материалы