Hacker News · 24.06.2026 ·Инфраструктура для агентов

Deltatensors: новый способ хранения дообученных весов моделей через сжатые дельты

Библиотека Deltatensors предлагает оптимизированный подход к хранению и распространению дообученных весов нейросетей. Вместо сохранения полных копий модели, инструмент вычисляет и сжимает разницу (дельты) между базовыми весами и весами после fine-tuning. Это позволяет значительно сократить объем дискового пространства, необходимого для версионирования и обмена специализированными моделями в агентных системах и пайплайнах разработки.

Основная проблема при работе с дообученными моделями заключается в их огромном размере, что затрудняет хранение множества версий одной и той же архитектуры. Deltatensors решает эту задачу, используя математические методы сжатия изменений весов. Это особенно актуально для сценариев, где требуется быстрое переключение между различными специализациями модели без необходимости загрузки нескольких полных чекпоинтов в память или на диск.

Технология позволяет интегрировать сжатые дельты в существующие процессы CI/CD для машинного обучения. Разработчики могут хранить только базовую модель и набор компактных дельта-файлов, восстанавливая нужную версию «на лету». Такой подход снижает требования к пропускной способности сети при развертывании моделей в облачных инфраструктурах и упрощает управление жизненным циклом специализированных ИИ-агентов.

Ключевые факты

Deltatensors фокусируется на вычислении и сжатии разницы между исходными и дообученными весами модели.
Инструмент позволяет существенно уменьшить размер файлов, необходимых для хранения различных fine-tuned версий нейросетей.
Решение оптимизирует процессы версионирования и передачи моделей в распределенных системах.
Библиотека предназначена для интеграции в пайплайны машинного обучения, где требуется частое переключение между специализированными весами.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hugging Face - Blog · Инференс и железо Синхронизация дельта-весов для запуска гигантских моделей Команда Hugging Face представила новую технологию Delta Weight Sync в TRL (Transformers Reinforcement Learning), которая позволяет эффективно синхронизировать веса моделей с триллионами параметров. Это особенно важно для локального запуска крупных моделей, где традиционные методы требуют значительных вычислительных ресурсов. Hacker News · Машинное обучение Автоматизация проектирования нейросетей для граничных вычислений Разработчики представили подход к автоматизированному поиску архитектур нейронных сетей (NAS), оптимизированный для работы на устройствах с ограниченными вычислительными ресурсами. Технология позволяет автоматически подбирать структуру модели так, чтобы она сохраняла высокую точность при минимальных требованиях к оперативной памяти и энергопотреблению. Это решает проблему переноса тяжелых моделей на оборудование уровня Edge AI, где использование стандартных архитектур часто невозможно из-за жестких ограничений по железу. arXiv · Машинное обучение Метод динамического объединения моделей без дообучения Исследователи представили новый подход к объединению нескольких специализированных нейросетевых экспертов в одну многозадачную модель. Традиционные методы слияния весов часто сталкиваются с проблемой интерференции параметров, когда знания одной модели конфликтуют с другой, что приводит к снижению точности по сравнению с исходными узкоспециализированными версиями. Hacker News · Инфраструктура для агентов Инструменты профилирования CUDA для оптимизации инференса в продакшене Разработчики систем машинного обучения получили новый подход к мониторингу производительности GPU при работе с нейросетями в реальном времени. Основная сложность при запуске моделей в продакшене заключается в поиске «узких мест», которые возникают на уровне низкоуровневых операций CUDA. Традиционные инструменты часто требуют остановки процессов или сложной настройки окружения, что делает их непригодными для высоконагруженных систем. arXiv · Машинное обучение Итеративная самофильтрация данных для обучения мультимодальных моделей Качество обучающих выборок остается критическим фактором при создании эффективных мультимодальных нейросетей. В условиях работы с массивами данных гигантского объема ручная проверка становится невозможной, что приводит к накоплению значительного количества «шумных» и нерелевантных примеров. Традиционные методы очистки данных, основанные на эвристиках или использовании сторонних предобученных моделей, часто оказываются недостаточно гибкими или требуют больших вычислительных затрат. arXiv · Обучение и дообучение Масштабируемые законы дистилляции LLM для узкоспециализированных задач Исследователи вывели эмпирические законы масштабирования для дистилляции LLM, позволяющие прогнозировать качество сжатых моделей в зависимости от объема данных и коэффициента компрессии. Работа решает проблему высокой стоимости и задержек при развертывании крупных моделей, предлагая математически обоснованный подход к созданию компактных и эффективных версий нейросетей для специфических доменов без потери критических знаний. Hacker News · Инференс и железо Оптимизация инференса через компиляцию моделей в единый мегакернел Разработан метод, позволяющий компилировать любые модели с платформы HuggingFace в единый персистентный мегакернел. Такой подход направлен на радикальное ускорение работы нейросетей за счет минимизации накладных расходов при выполнении операций на графическом процессоре. Hacker News · Инференс и железо Tensordyne оптимизирует вычисления для ИИ с помощью логарифмических операций Стартап Tensordyne представил подход к оптимизации вычислительных процессов для нейросетей, основанный на использовании логарифмической арифметики вместо стандартных операций с плавающей запятой. Традиционные вычисления, используемые в современных графических процессорах, требуют значительных затрат энергии и ресурсов при выполнении операций умножения, которые составляют основу работы трансформеров. NVIDIA Technical Blog · Машинное обучение Как оптимизировать трансформеры для обучения с низкой точностью Трансформеры лежат в основе многих современных языковых и генеративных моделей. С ростом их размера увеличивается и потребление вычислительных ресурсов, особенно GPU. NVIDIA предложила методы оптимизации для обучения моделей с низкой точностью, что позволяет снизить нагрузку на оборудование. arXiv · Машинное обучение Метод декомпозиции задач для повышения эффективности разметки данных Исследователи представили новый подход к разметке структурированных данных, основанный на декомпозиции сложных задач на более простые подзадачи. Метод позволяет значительно снизить затраты на создание качественных обучающих выборок, минимизируя необходимость в дорогостоящей ручной проверке результатов, полученных с помощью моделей, и повышая общую точность разметки для последующего обучения downstream-моделей.

← Все материалы