Hacker News · 16.06.2026 ·Модели и релизы

MambAdapter: лёгкие адаптеры на основе Mamba для трансфер-обучения

Исследователи представили MambAdapter — лёгкие адаптеры на основе архитектуры Mamba, предназначенные для трансфер-обучения. Новый подход позволяет эффективно переносить знания между задачами, сохраняя при этом низкие вычислительные затраты.

MambAdapter использует архитектуру Mamba, которая демонстрирует высокую эффективность в обработке длинных последовательностей. Адаптеры позволяют адаптировать предобученные модели для новых задач без полного переобучения, что снижает затраты на вычисления и время обучения.

Исследование показывает, что MambAdapter превосходит традиционные методы трансфер-обучения по точности и скорости. Авторы отмечают, что новый подход может быть полезен в различных областях, включая обработку естественного языка и компьютерное зрение.

Работа опубликована на arXiv и доступна для скачивания. Исследователи планируют дальнейшее развитие метода, включая интеграцию с другими архитектурами и оптимизацию для специфических задач.

Источник: Hacker News

Похожие материалы

The Gradient · Инфраструктура для агентов Mamba: новая архитектура для обработки длинных последовательностей Mamba — это новая архитектура нейросетевых моделей, основанная на State Space Models (SSMs). Она позиционируется как серьезная альтернатива Transformer-моделям, которые, несмотря на свою популярность, сталкиваются с проблемами эффективности при обработке длинных последовательностей. Together.ai · Инференс и железо Mamba-3: новая модель для быстрого инференса Компания Together.ai представила Mamba-3 — новую модель на основе архитектуры Selective State Spaces (SSM). Она предназначена для ускоренного инференса и превосходит трансформеры по скорости декодирования. arXiv · Исследования и наука Новый метод для мультимодального разрешения кореферентности без предварительного обучения Исследователи предложили новый подход Plug-and-Adapt для мультимодального разрешения кореферентности (MCR), который не требует предварительного обучения на аннотированных данных. В статье на arXiv показано, что визуальная информация помогает устранять неоднозначности в тексте, что значительно повышает точность системы. MarkTechPost · Модели и релизы Zyphra представила гибридные модели Zamba2-VL с ускоренным инференсом Zyphra выпустила семейство открытых визуально-языковых моделей Zamba2-VL с параметрами 1.2B, 2.7B и 7B. Они сочетают архитектуру Mamba2 и Transformer, что позволяет сократить время до первого токена в десять раз по сравнению с аналогами. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Машинное обучение Трансформеры для решения уравнений на сложных геометриях Исследователи из MIT и других ведущих университетов представили новый подход к использованию трансформеров для решения задач, связанных с дифференциальными уравнениями на сложных геометриях. Традиционные методы, основанные на нейронных операторах, ограничены фиксированным размером области, что затрудняет их применение в реальных сценариях, где размеры могут варьироваться. Hacker News · Машинное обучение Новый подход к законам масштабирования может изменить обучение ИИ-моделей Исследователи из Стэнфордского университета предложили новый подход к законам масштабирования, который может существенно повлиять на процесс обучения искусственных нейронных сетей. Традиционные законы масштабирования описывают, как увеличение размера модели и объёма данных влияет на её производительность. Однако новый метод позволяет более точно предсказывать, как изменения в архитектуре модели и данных повлияют на её точность и эффективность. arXiv · Память и RAG ReGrad: постобучение без потери знаний Исследователи из MIT и Google Research предложили новый подход к постобучению моделей, который решает проблему накопления весового дрейфа. В работе «Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift» авторы вводят концепцию ReGrad — метода, позволяющего моделям обновляться после развертывания без потери ранее усвоенных знаний. arXiv · Модели и релизы Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода. Hacker News · Машинное обучение Next-Latent Prediction Transformers: компактные мировые модели Исследователи представили новый подход к созданию мировых моделей — Next-Latent Prediction Transformers (NLP-T). В отличие от традиционных моделей, NLP-T используют компактные представления, что позволяет значительно снизить вычислительные затраты при сохранении высокой точности.

← Все материалы