Hacker News · 21.07.2026 ·Обучение и дообучение

Метод расширения токенизатора без полной переобучки модели

Исследователи из Liquid AI представили эффективный метод расширения словаря токенизатора уже обученной языковой модели. Подход позволяет добавлять новые токены, не прибегая к дорогостоящему переобучению всей архитектуры с нуля. Это значительно упрощает адаптацию моделей под специфические языки, домены или новые форматы данных, сохраняя при этом накопленные веса и производительность системы.

Традиционно изменение размера словаря требует полной перетренировки модели, так как матрица эмбеддингов жестко привязана к исходному набору токенов. Новый метод использует стратегию инициализации новых эмбеддингов на основе семантической близости к уже существующим векторам. Это позволяет модели быстро «понять» новые токены в процессе дообучения, минимизируя деградацию качества при работе с исходными данными.

Технология особенно актуальна для оптимизации инференса и повышения точности моделей в узкоспециализированных задачах, где требуется поддержка редких символов или специфической терминологии. Такой подход снижает вычислительные затраты на адаптацию моделей, делая процесс итеративного улучшения архитектур более доступным и гибким для разработчиков инфраструктурных решений.

Ключевые факты

Метод позволяет обновлять токенизатор «на месте» без необходимости полного переобучения модели.
Инициализация новых эмбеддингов происходит через анализ семантической близости к существующим векторам в пространстве модели.
Технология сокращает вычислительные ресурсы, необходимые для адаптации LLM под новые языки или доменные области.
Подход обеспечивает сохранение производительности модели на исходных данных после расширения словаря.
Решение ориентировано на повышение эффективности дообучения и кастомизации готовых нейросетевых архитектур.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Метод In-Place Tokenizer Expansion для расширения словаря предобученных LLM Исследователи представили метод In-Place Tokenizer Expansion, позволяющий эффективно расширять словарь уже обученных языковых моделей без необходимости их полной перетренировки. Решение устраняет проблему неэффективной токенизации новых языков, которая обычно приводит к росту задержек и увеличению вычислительных затрат. Новый подход оптимизирует работу с мультиязычными данными, сохраняя производительность модели при добавлении новых лексем в существующий словарь. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. arXiv · Инференс и железо Оптимизация инференса через метод Relaxed Speculative Decoding Исследователи представили метод Relaxed Speculative Decoding, который ускоряет генерацию текста LLM за счет отказа от строгого соответствия распределению вероятностей исходной модели. В отличие от классического спекулятивного декодирования, этот подход допускает контролируемые отклонения при проверке токенов, что позволяет значительно повысить скорость инференса без необходимости дополнительного обучения вспомогательных моделей. arXiv · Инференс и железо Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. Hacker News · Исследования и наука Новый метод Dispersion Loss для борьбы с конденсацией эмбеддингов в малых LLM Исследователи предложили метод Dispersion Loss, решающий проблему «конденсации» эмбеддингов в малых языковых моделях. При обучении компактных моделей векторы слов часто схлопываются в узкие кластеры, что снижает качество генерации. Новый подход принудительно разносит эмбеддинги в пространстве, повышая выразительность модели без увеличения количества параметров, что критически важно для эффективного обучения легковесных архитектур. Hacker News · Обучение и дообучение Дистилляция знаний из закрытых LLM: новый подход к обучению компактных моделей Исследователи представили метод дистилляции знаний из «черных ящиков» — проприетарных больших языковых моделей — для обучения более компактных и эффективных нейросетей. Подход позволяет переносить сложные логические способности и лингвистические навыки от гигантских моделей к меньшим архитектурам, сохраняя высокую производительность при значительном снижении требований к вычислительным ресурсам и затратам на инференс. Hacker News · Исследования и наука Tapered Language Models: новый подход к оптимизации архитектуры LLM Исследователи представили концепцию Tapered Language Models — архитектурный подход, при котором ширина слоев нейросети постепенно уменьшается по мере углубления модели. Такой метод позволяет значительно снизить вычислительные затраты на инференс и объем используемой памяти, сохраняя при этом производительность, сопоставимую с традиционными трансформерами фиксированной ширины, что критически важно для эффективного развертывания моделей. arXiv · Машинное обучение DeltaMerge-LowRes: эффективная адаптация моделей через композицию весовых дельт Исследователи представили метод DeltaMerge-LowRes, позволяющий адаптировать мультиязычные энкодеры к новым языкам и задачам без дорогостоящего совместного дообучения. Вместо объединения параметров в процессе обучения, подход предполагает раздельное вычисление языковых и целевых «дельт» (изменений весов) с последующей их комбинацией в пространстве весов, что критически важно для условий с крайне ограниченным объемом размеченных данных. arXiv · Память и RAG Co-LMLM: новый подход к обучению моделей с внешней базой знаний Исследователи представили архитектуру Co-LMLM (Continuous-Query Limited Memory Language Models), которая переносит хранение фактологических знаний из весов нейросети во внешнюю базу данных. В отличие от стандартных LLM, такая модель в процессе генерации текста динамически обращается к внешним источникам, что позволяет обновлять знания без необходимости дорогостоящего дообучения и обеспечивает лучший контроль над достоверностью информации. arXiv · Машинное обучение Адаптивный выбор токенов для оптимизации обучения LLM с подкреплением Исследователи представили метод Relative Surprisal Index (RSI) для оптимизации обучения LLM с помощью подкрепления с проверяемыми наградами (RLVR). Новый подход позволяет динамически определять, какие токены в процессе генерации рассуждений наиболее важны для достижения правильного результата. Это снижает вычислительные затраты и повышает эффективность обучения моделей при решении сложных логических задач.

← Все материалы