Обучение и дообучение
Оптимизация обучения DeepSeek V4 через Unsloth
Команда Unsloth представила поддержку архитектуры DeepSeek V4, обеспечив значительное ускорение процесса дообучения и снижение требований к видеопамяти. Благодаря оптимизированным ядрам Triton, пользователи могут дообучать модель с использованием методов LoRA и QLoRA быстрее и эффективнее, что делает работу с тяжелыми весами доступной на потребительском и серверном железе среднего сегмента.
Исследование дистилляции моделей и передачи ограничений безопасности
Исследователи изучили процесс дистилляции знаний из DeepSeek в меньшие модели, чтобы выяснить, наследуются ли встроенные механизмы цензуры. Эксперименты показали, что при переносе весов через дистилляцию ограничения безопасности не передаются автоматически. Это открывает возможности для создания компактных и производительных моделей без жестких фильтров, характерных для исходных проприетарных систем.
Метод HARGO для оптимизации LLM в задачах высокопроизводительных вычислений
Исследователи представили HARGO — новый метод обучения с подкреплением, направленный на улучшение точности LLM в задачах высокопроизводительных вычислений (HPC). Подход решает проблему избыточности и неточности ответов, возникающую после стандартного SFT, за счет учета гетерогенности данных и использования специализированных наград, что позволяет моделям эффективнее справляться с анализом кода и поиском ошибок.
Путь от академического исследования до Frontier LLM через DPO
Метод Direct Preference Optimization (DPO) стал стандартом для настройки поведения современных языковых моделей. В отличие от традиционного обучения с подкреплением на основе отзывов людей (RLHF), DPO позволяет оптимизировать модель напрямую через пары предпочтений, исключая необходимость в обучении отдельной модели вознаграждения. Это значительно упрощает пайплайн дообучения и повышает стабильность итоговых результатов.
Writekin: локальный инструмент для дообучения LLM на собственных текстах
Writekin — это новый инструмент с открытым исходным кодом, позволяющий пользователям macOS дообучать локальные языковые модели на массиве собственных текстовых данных. Решение автоматизирует процесс подготовки датасета и настройки параметров модели, позволяя адаптировать стиль и манеру письма нейросети под конкретного автора без необходимости использования облачных мощностей или передачи конфиденциальной информации сторонним сервисам.
Дистилляция моделей Frontier AI: эффективность против производительности
Дистилляция передовых ИИ-моделей становится ключевой стратегией для оптимизации вычислительных затрат. Метод передачи знаний от массивных «фронтирных» моделей к компактным архитектурам позволяет сохранять высокую точность при значительном снижении требований к инференсу. Это делает внедрение сложных интеллектуальных систем доступным для бизнеса, который не обладает ресурсами для эксплуатации гигантских нейросетей в продакшене.
Google представила сервис дистилляции моделей Gemini
Google запустила сервис дистилляции моделей, позволяющий переносить знания из крупных LLM серии Gemini в более компактные и эффективные версии. Инструмент автоматизирует процесс генерации обучающих данных на основе ответов мощных моделей, что помогает разработчикам создавать специализированные решения с меньшими затратами на инференс и повышенной скоростью работы при сохранении высокого качества ответов.
Google запустила сервис дистилляции моделей Gemini
Google представила сервис Gemini Distillation, позволяющий переносить знания из крупных моделей Gemini 1.5 Pro в более компактные и эффективные версии. Инструмент автоматизирует процесс создания обучающих датасетов на основе ответов мощных моделей, что помогает разработчикам оптимизировать инференс и снижать затраты при сохранении высокой производительности специализированных агентных систем и приложений.
Дообучение модели 9B с RL превзошло топовые LLM в задачах обзора каталогов
Команда FermiSense продемонстрировала, что специализированное дообучение компактной модели с 9 миллиардами параметров с использованием обучения с подкреплением (RL) позволяет превзойти проприетарные модели уровня GPT-4 в узкоспециализированных задачах. Бюджет эксперимента составил всего 500 долларов, что доказывает высокую эффективность дообучения открытых архитектур для автоматизации бизнес-процессов, требующих глубокой экспертизы в анализе товарных каталогов.
Google запустила сервис дистилляции моделей Gemini
Google представила сервис Gemini Distillation, позволяющий переносить знания из крупных моделей Gemini 1.5 Pro на более компактные и эффективные версии. Инструмент автоматизирует процесс обучения меньших моделей на основе ответов более мощных систем, что помогает разработчикам создавать специализированные решения с высокой производительностью при значительно меньших затратах на инференс и задержках в работе.
Оптимизация дообучения моделей 0.5B на Apple Silicon с использованием LoRA
Исследователи представили детальный анализ процесса дообучения языковой модели с 0,5 млрд параметров на архитектуре Apple Silicon. Работа фокусируется на методе LoRA (Low-Rank Adaptation), позволяющем эффективно адаптировать веса модели при ограниченных ресурсах памяти. Авторы провели профилирование производительности, оценив влияние различных параметров обучения на скорость и потребление аппаратных мощностей в условиях локального запуска на чипах Apple M-серии.
Исследователи вывели математический закон появления «интрузивных размерностей» при LoRA-тюнинге
Исследователи представили математическую модель, объясняющую возникновение «интрузивных размерностей» (intruder dimensions) при дообучении моделей методом LoRA. Эти компоненты, возникающие в матрицах весов, практически ортогональны предобученным векторам и провоцируют катастрофическое забывание. Авторы вывели формулу критической силы обновления, позволяющую предсказывать появление таких деструктивных векторов для каждого слоя нейросети на основе спектрального анализа.
Текущее состояние непрерывного обучения для больших языковых моделей
Непрерывное обучение (continual learning) остается одной из главных проблем в развитии LLM, так как модели склонны к «катастрофическому забыванию» при попытке освоить новые данные без переобучения на всем массиве. На текущий момент индустрия фокусируется на методах эффективной адаптации знаний, позволяющих обновлять модель без потери ранее усвоенной информации и значительных вычислительных затрат.
Релиз модели Abliterated GLM 5.2 для задач безопасности и ред-тиминга
Представлена модель Abliterated GLM 5.2, специально дообученная для задач кибербезопасности и проведения ред-тиминга. Разработчики применили метод «облитерации» (abliteration), направленный на снятие жестких ограничений безопасности, что позволяет исследователям тестировать модели на устойчивость к сложным промптам и выявлять уязвимости в логике ИИ-систем в контролируемой среде.
Метод κ-LoRA оптимизирует дообучение LLM через анализ обусловленности матриц
Исследователи представили метод κ-LoRA, который повышает эффективность дообучения нейросетей за счет избирательного обновления весов. Вместо равномерного изменения всех матриц адаптации, алгоритм использует числа обусловленности для идентификации наиболее значимых компонентов. Это позволяет сократить вычислительные затраты при сохранении качества модели, что критически важно для работы с крупными языковыми моделями, содержащими миллиарды параметров.
Упрощение дообучения модели NVIDIA Nemotron-3 Nano через платформу Prime Intellect
NVIDIA представила решение для ускорения кастомизации компактной модели Nemotron-3 Nano, интегрировав её в платформу Prime Intellect. Инструмент позволяет разработчикам адаптировать модель под специфические доменные задачи и языки за считанные минуты, минимизируя вычислительные затраты и техническую сложность процесса дообучения, что критически важно для создания специализированных ИИ-агентов и локальных сервисов.
KroQuant: новый метод квантования диффузионных трансформеров
Исследователи представили KroQuant — метод квантования диффузионных трансформеров (DiTs) до формата W4A4, решающий проблему потери качества при сжатии моделей. Использование блочных преобразований Кронекера позволяет эффективно обрабатывать выбросы в активациях, которые обычно препятствуют точному 4-битному представлению данных, обеспечивая высокую производительность при значительном снижении требований к вычислительным ресурсам и памяти.
Создание LLM с нуля за 353 доллара: опыт прохождения курса CS336
Разработчик Энди Тимм успешно реализовал проект по обучению языковой модели с нуля, опираясь на материалы Стэнфордского курса CS336. Весь процесс, включая подготовку данных, аренду вычислительных мощностей и финальное обучение, обошелся автору в 353 доллара. Эксперимент демонстрирует доступность современных методов тренировки нейросетей для частных исследователей при грамотной оптимизации ресурсов.
Генерация LoRA-адаптеров из файлов Skill.md для настройки ИИ-агентов
Сервис TerraDev представил инструмент для автоматического создания LoRA-адаптеров на основе файлов формата Skill.md. Решение позволяет преобразовывать структурированные описания навыков и алгоритмов действий в специализированные веса для дообучения языковых моделей. Это упрощает процесс адаптации LLM под выполнение сложных агентных задач, требующих специфических знаний или последовательности действий, без необходимости полного переобучения базовой модели.
Сравнение ключевых фреймворков для дообучения LLM: Unsloth, Axolotl, TRL и LLaMA-Factory
Четыре ведущих open-source проекта — Unsloth, Axolotl, TRL и LLaMA-Factory — доминируют в сфере дообучения больших языковых моделей. Несмотря на общую базу в виде PyTorch и стека Hugging Face, инструменты предлагают принципиально разные подходы к оптимизации: от переписывания ядер и управления параллелизмом до создания гибких API и расширения поддержки архитектур моделей для эффективного использования ресурсов.
Нужен ли fine-tuning: сравнение LLM, RAG и LoRA
IBM Technology выпустили разбор актуальности дообучения моделей в эпоху развития RAG и эффективных методов адаптации, таких как LoRA. Эксперты анализируют, когда бизнесу стоит инвестировать в кастомные веса, а когда достаточно контекстного обучения, чтобы сбалансировать точность ответов, стоимость инфраструктуры и скорость внедрения ИИ-решений в корпоративные процессы.
Метод расширения токенизатора без полной переобучки модели
Исследователи из Liquid AI представили эффективный метод расширения словаря токенизатора уже обученной языковой модели. Подход позволяет добавлять новые токены, не прибегая к дорогостоящему переобучению всей архитектуры с нуля. Это значительно упрощает адаптацию моделей под специфические языки, домены или новые форматы данных, сохраняя при этом накопленные веса и производительность системы.
PPL-Factory: оптимизация дообучения LLM через выбор данных
Исследователи представили PPL-Factory — метод селективного отбора данных для дообучения больших языковых моделей. Вместо использования фиксированных эвристик, система динамически оценивает информативность обучающих примеров с учетом специфики целевой задачи и ограничений вычислительного бюджета. Это позволяет значительно сократить затраты на обучение, сохраняя при этом высокую точность модели на профильных бенчмарках.
Новый метод PEFT: Manifold-Constrained Hyper-Connections для дообучения LLM
Исследователи представили метод Manifold-Constrained Hyper-Connections (mHC), который предлагает новый подход к эффективному дообучению (PEFT) нейросетей. Вместо модификации весов или активаций, метод фокусируется на оптимизации остаточных связей (residual connections) в архитектуре Transformer. В экспериментах с моделью OLMo-2 подход mHC продемонстрировал высокую эффективность при сохранении замороженных весов основной архитектуры, открывая новые возможности для адаптации моделей.