Hacker News · 03.08.2026 ·Обучение и дообучение

Unsloth: ускорение дообучения LLM до 2 раз с экономией памяти

Unsloth — это специализированный фреймворк для эффективного дообучения и инференса локальных языковых моделей, таких как Llama 3, Mistral и Phi-3. Инструмент оптимизирует использование видеопамяти и ускоряет процесс обучения до 2,2 раз, позволяя запускать сложные задачи по fine-tuning на потребительском оборудовании с минимальными требованиями к ресурсам и сохранением высокой точности весов.

Технология базируется на переработке графов вычислений и ручной оптимизации ядер (kernels) для операций Triton и CUDA. Разработчики переписали механизмы внимания (attention) и обратного распространения ошибки, что позволило снизить потребление VRAM на 60–80% по сравнению со стандартными реализациями в библиотеках Hugging Face. Это делает дообучение моделей доступным для широкого круга задач без необходимости аренды дорогостоящих кластеров.

Фреймворк интегрируется с популярными стеками для работы с данными и моделями, поддерживая форматы QLoRA и LoRA. Пользователи могут использовать готовые скрипты для настройки моделей под специфические домены, сохраняя при этом совместимость с экосистемой PyTorch. Инструмент активно применяется для создания специализированных ассистентов и локальных RAG-систем, где требуется быстрая адаптация базовой модели под конкретные бизнес-задачи.

Ключевые факты

Ускорение процесса обучения моделей Llama 3 и Mistral достигает 2,2 раз по сравнению со стандартными методами.
Снижение потребления видеопамяти (VRAM) при дообучении составляет от 60% до 80%.
Поддержка популярных архитектур, включая Llama 3, Mistral, Gemma, Phi-3 и Qwen.
Полная совместимость с библиотеками Hugging Face, включая PEFT, TRL и AutoGPTQ.
Возможность экспорта обученных моделей в форматы GGUF, Ollama и vLLM для последующего деплоя.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Обучение и дообучение Оптимизация локального обучения и инференса LLM с Unsloth Библиотека Unsloth позволяет значительно ускорить процесс дообучения и запуска популярных языковых моделей на локальном оборудовании. Инструмент оптимизирует использование видеопамяти и повышает скорость вычислений при работе с архитектурами Llama, Mistral и Phi. За счет переработки алгоритмов градиентного спуска и использования специализированных ядер CUDA, разработчики добиваются снижения потребления ресурсов до 70% при сохранении точности весов. Hacker News · Обучение и дообучение Минималистичный фреймворк для дообучения LLM на потребительском железе Разработчики представили легковесный инструментарий для пост-тренинга языковых моделей, оптимизированный для работы на GPU с 8 ГБ видеопамяти. Проект позволяет проводить SFT, DPO и GRPO, делая современные методы дообучения доступными для индивидуальных исследователей и небольших команд, использующих обычное потребительское оборудование вместо дорогостоящих серверных кластеров. MarkTechPost · Обучение и дообучение Сравнение ключевых фреймворков для дообучения LLM: Unsloth, Axolotl, TRL и LLaMA-Factory Четыре ведущих open-source проекта — Unsloth, Axolotl, TRL и LLaMA-Factory — доминируют в сфере дообучения больших языковых моделей. Несмотря на общую базу в виде PyTorch и стека Hugging Face, инструменты предлагают принципиально разные подходы к оптимизации: от переписывания ядер и управления параллелизмом до создания гибких API и расширения поддержки архитектур моделей для эффективного использования ресурсов. Hacker News · Обучение и дообучение Оптимизация обучения DeepSeek V4 через Unsloth Команда Unsloth представила поддержку архитектуры DeepSeek V4, обеспечив значительное ускорение процесса дообучения и снижение требований к видеопамяти. Благодаря оптимизированным ядрам Triton, пользователи могут дообучать модель с использованием методов LoRA и QLoRA быстрее и эффективнее, что делает работу с тяжелыми весами доступной на потребительском и серверном железе среднего сегмента. Hacker News · Инференс и железо Оптимизация инференса LLM: ускорение работы моделей на потребительском железе Разработчик представил инструмент quantprobe, позволяющий значительно повысить скорость генерации токенов для крупных языковых моделей на ограниченных аппаратных ресурсах. Решение оптимизирует процесс инференса, достигая показателей в 22 токена в секунду для 30B-моделей и до 109 токенов в секунду на конфигурациях с 6–16 ГБ оперативной памяти, обходя стандартные ограничения llama.cpp. Hacker News · Обучение и дообучение Horus-runtime: инструмент для обучения компактных LLM с нуля Horus-runtime представляет собой специализированный фреймворк для обучения компактных языковых моделей с нуля. Инструмент ориентирован на разработчиков, которым требуется полный контроль над процессом подготовки архитектуры и весов модели без использования готовых предобученных решений. Решение позволяет оптимизировать вычислительные затраты при создании специализированных нейросетей для узких задач. Hacker News · Инференс и железо AirLLM позволяет запускать модели на 2.8 трлн параметров на потребительском GPU Библиотека AirLLM открывает возможность запуска сверхкрупных языковых моделей, таких как Kimi K3 (2.8 трлн параметров), на обычном потребительском оборудовании с объемом видеопамяти всего 4 ГБ. Инструмент оптимизирует процесс инференса, позволяя выполнять вычисления на устройствах, которые ранее считались технически непригодными для работы с моделями подобного масштаба из-за жестких ограничений по VRAM. Hacker News · Инференс и железо Практическое руководство по локальному запуску LLM через Llama.cpp Развертывание больших языковых моделей на собственном оборудовании становится доступнее благодаря оптимизациям в Llama.cpp. Инструмент позволяет запускать современные LLM на потребительском железе, эффективно используя ресурсы CPU и GPU. Это решение критически важно для задач, требующих приватности данных, снижения затрат на облачные API и обеспечения низкой задержки при работе с локальными агентными системами. Hacker News · Инференс и железо Запуск LLM пограничного класса на CPU ноутбука Проект cpubrrr представил решение для запуска больших языковых моделей (LLM) уровня Frontier на обычных потребительских процессорах. Инструмент оптимизирует процесс инференса, позволяя использовать мощные модели без необходимости в специализированных GPU. Это открывает возможности для локальной работы с продвинутым ИИ на стандартном аппаратном обеспечении, снижая порог входа для локальных агентных систем и приватных вычислений. MarkTechPost · Инфраструктура для агентов Tencent открыла код AngelSpec для ускорения инференса LLM Tencent представила AngelSpec — фреймворк для обучения моделей-черновиков, предназначенных для спекулятивного декодирования. Решение поддерживает шесть архитектур и внедряет метод DFly, использующий блочную диффузию и гибридное кондиционирование. Инструмент позволяет значительно повысить скорость генерации текста на крупных языковых моделях, обеспечивая прирост производительности до 2,4 раз при выполнении сложных задач инференса в распределенных средах.

← Все материалы