arXiv · 31.07.2026 ·Обучение и дообучение

Автоматизированная последовательность задач для эффективного дообучения LLM

Исследователи представили метод автоматизированного упорядочивания задач для обучения моделей с несколькими политиками (Multi-Policy LLMs). Подход решает проблему интерференции при использовании единых LoRA-адаптеров, позволяя эффективно адаптировать модели к разнородным наборам данных без катастрофического забывания. Технология оптимизирует процесс дообучения, обеспечивая лучшее качество переноса знаний между различными задачами по сравнению с традиционными методами PEFT.

Традиционные подходы к Parameter-Efficient Fine-Tuning (PEFT) часто полагаются на общий низкоранговый адаптер, что приводит к конфликтам при попытке обучить модель на последовательности разноплановых задач. Когда модель пытается выучить новую задачу, она неизбежно «затирает» веса, отвечающие за предыдущие навыки. Новое решение предлагает динамически определять порядок подачи данных, минимизируя негативное влияние между задачами.

Авторы метода фокусируются на структурировании обучающей выборки таким образом, чтобы градиентные обновления от разных задач не вступали в противоречие. Это позволяет сохранять высокую точность на широком спектре навыков даже при ограниченном количестве обучаемых параметров. Подход демонстрирует значительный потенциал для создания универсальных моделей, способных к последовательному обучению без необходимости полного переобучения всей архитектуры.

Ключевые факты

Метод направлен на устранение интерференции при использовании единых LoRA-адаптеров в процессе дообучения.
Решение предотвращает эффект катастрофического забывания при работе с гетерогенными последовательностями задач.
Автоматизированная стратегия упорядочивания задач повышает эффективность переноса знаний (transfer learning) между различными доменами.
Исследование предлагает альтернативу увеличению количества параметров или сложной композиции множества адаптеров для улучшения выразительности модели.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Обучение и дообучение Метод Co-Adaptive Multi-Task LoRA для эффективного дообучения моделей на нескольких доменах Исследователи представили метод Co-Adaptive Multi-Task LoRA, который решает проблему конфликтов при одновременном дообучении LLM на данных из разных доменов. В отличие от стандартных подходов с фиксированным смешиванием данных, новый алгоритм динамически управляет участием каждого домена в процессе обучения, оптимизируя распределение весов адаптера для предотвращения взаимного ухудшения качества моделей при многозадачном обучении. arXiv · Безопасность и алайнмент Защита от отравления данных при дообучении моделей через подпространственные ограничения Исследователи предложили новый метод защиты LLM от атак типа «отравление» (poisoning) при дообучении. Вместо свободного изменения всех параметров адаптера, предлагается ограничивать обучение подпространством, сформированным на основе набора доверенных адаптеров. Это позволяет модели сохранять функциональность, исключая возможность внедрения вредоносных паттернов поведения, которые часто маскируются под полезные обновления в рамках стандартного LoRA-тюнинга. arXiv · Машинное обучение Новый метод Predictive Divergence Masks для стабилизации обучения LLM с подкреплением Исследователи представили метод Predictive Divergence Masks, оптимизирующий процесс обучения LLM с подкреплением (RL). Новый подход заменяет стандартные маски доверительной области, используемые в PPO, более точными критериями близости и направления. Это позволяет эффективнее контролировать обновления политики, предотвращая деградацию модели при работе с off-policy данными и повышая общую стабильность обучения. arXiv · Исследования и наука Исследование объясняет эффективность адаптации LLM через свойства многомерных пространств Исследователи представили работу, объясняющую феномен «благословения размерности» при адаптации больших языковых моделей. Авторы доказывают, что близость к ортогональности векторов в пространствах высокой размерности позволяет эффективно переносить знания между задачами без необходимости дополнительного обучения или использования обучающих данных, что критически важно для оптимизации процессов дообучения и использования методов типа LoRA. arXiv · Обучение и дообучение Метод Neuron-Aware для самообучения LLM без участия человека Исследователи представили метод Neuron-Aware Data Selection, позволяющий дообучать большие языковые модели без использования человеческой разметки или внешних экспертных данных. Технология опирается на самодистилляцию, где модель использует собственные выходы в качестве обучающих сигналов. Подход фокусируется на отборе наиболее информативных данных через анализ активации нейронов, что значительно повышает качество генерации в специализированных областях при отсутствии дорогостоящих аннотаций. Hacker News · Обучение и дообучение Текущее состояние непрерывного обучения для больших языковых моделей Непрерывное обучение (continual learning) остается одной из главных проблем в развитии LLM, так как модели склонны к «катастрофическому забыванию» при попытке освоить новые данные без переобучения на всем массиве. На текущий момент индустрия фокусируется на методах эффективной адаптации знаний, позволяющих обновлять модель без потери ранее усвоенной информации и значительных вычислительных затрат. arXiv · Инфраструктура для агентов Адаптивное пакетное выполнение запросов к LLM через обучение с подкреплением Исследователи предложили метод адаптивного пакетного выполнения запросов (batching) для систем инференса LLM, заменяющий статические политики динамическим управлением на базе обучения с подкреплением (RL). Использование алгоритмов REINFORCE и PPO позволяет системам автоматически оптимизировать пропускную способность и задержки в условиях непредсказуемых и неоднородных нагрузок, превосходя традиционные эвристические подходы, требующие ручной настройки параметров. arXiv · Исследования и наука Улучшение точности прогнозирования LLM через управление признаками Исследователи представили метод повышения качества прогнозирования в больших языковых моделях, основанный на анализе их внутренних состояний. Используя разреженные автокодировщики, авторы выявили, что модели часто опираются на специфические временные знания, а не на общие закономерности. Управление этими внутренними признаками позволяет сместить фокус модели на обобщаемые паттерны, что значительно повышает точность предсказаний в различных задачах. arXiv · Обучение и дообучение PPL-Factory: оптимизация дообучения LLM через выбор данных Исследователи представили PPL-Factory — метод селективного отбора данных для дообучения больших языковых моделей. Вместо использования фиксированных эвристик, система динамически оценивает информативность обучающих примеров с учетом специфики целевой задачи и ограничений вычислительного бюджета. Это позволяет значительно сократить затраты на обучение, сохраняя при этом высокую точность модели на профильных бенчмарках. arXiv · Безопасность и алайнмент Новый метод дистилляции для защиты LLM от вредоносных данных Исследователи представили метод On-Policy Distillation, направленный на повышение безопасности LLM при дообучении. Подход решает проблему внедрения вредоносного поведения через скомпрометированные обучающие выборки. Используя механизм маршрутизации (routing), система позволяет эффективно перенастраивать модели, сохраняя их профессиональные навыки и одновременно блокируя попытки обхода этических ограничений, которые часто встречаются в стандартных сценариях fine-tuning.

← Все материалы