arXiv · 16.07.2026 ·Машинное обучение

Метод In-Place Tokenizer Expansion для расширения словаря предобученных LLM

Исследователи представили метод In-Place Tokenizer Expansion, позволяющий эффективно расширять словарь уже обученных языковых моделей без необходимости их полной перетренировки. Решение устраняет проблему неэффективной токенизации новых языков, которая обычно приводит к росту задержек и увеличению вычислительных затрат. Новый подход оптимизирует работу с мультиязычными данными, сохраняя производительность модели при добавлении новых лексем в существующий словарь.

Традиционные токенизаторы фиксируются на этапе начала обучения, что ограничивает их гибкость при изменении приоритетов использования модели. Когда в систему добавляются новые языки, слова разбиваются на избыточное количество токенов, что негативно сказывается на энергопотреблении и скорости инференса. Предложенный метод позволяет адаптировать архитектуру под актуальные задачи, минимизируя накладные расходы на обработку запросов.

Технология особенно актуальна для локальных и специализированных моделей, где ресурсы ограничены и расширение словаря традиционными методами требует значительных затрат на дообучение. Интеграция новых токенов происходит с сохранением семантической целостности модели, что позволяет избежать деградации качества генерации текста при обновлении словаря.

Ключевые факты

Метод позволяет расширять словарь предобученных моделей без необходимости полной перетренировки.
Решение снижает количество токенов на слово для новых языков, уменьшая задержки и энергопотребление.
Подход оптимизирует вычислительную эффективность инференса при изменении языковых приоритетов модели.
Технология решает проблему неэффективного распределения словарного запаса, заложенного на этапе первичного обучения.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. arXiv · Инференс и железо Оптимизация инференса через метод Relaxed Speculative Decoding Исследователи представили метод Relaxed Speculative Decoding, который ускоряет генерацию текста LLM за счет отказа от строгого соответствия распределению вероятностей исходной модели. В отличие от классического спекулятивного декодирования, этот подход допускает контролируемые отклонения при проверке токенов, что позволяет значительно повысить скорость инференса без необходимости дополнительного обучения вспомогательных моделей. arXiv · Инференс и железо Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. arXiv · Машинное обучение DeltaMerge-LowRes: эффективная адаптация моделей через композицию весовых дельт Исследователи представили метод DeltaMerge-LowRes, позволяющий адаптировать мультиязычные энкодеры к новым языкам и задачам без дорогостоящего совместного дообучения. Вместо объединения параметров в процессе обучения, подход предполагает раздельное вычисление языковых и целевых «дельт» (изменений весов) с последующей их комбинацией в пространстве весов, что критически важно для условий с крайне ограниченным объемом размеченных данных. Hacker News · Обучение и дообучение Дистилляция знаний из закрытых LLM: новый подход к обучению компактных моделей Исследователи представили метод дистилляции знаний из «черных ящиков» — проприетарных больших языковых моделей — для обучения более компактных и эффективных нейросетей. Подход позволяет переносить сложные логические способности и лингвистические навыки от гигантских моделей к меньшим архитектурам, сохраняя высокую производительность при значительном снижении требований к вычислительным ресурсам и затратам на инференс. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. Hacker News · Машинное обучение KV-Cache Grafting: новый метод повышения точности LLM без дообучения Исследователи представили метод KV-Cache Grafting, позволяющий значительно повысить производительность замороженных 12-миллиардных языковых моделей в задачах математического рассуждения. Техника достигает 93,3% точности на бенчмарке AIME, используя манипуляции с кэшем ключей и значений (KV-cache) во время инференса, что позволяет улучшить способности модели без необходимости дорогостоящего дообучения или изменения весов нейросети. arXiv · Машинное обучение Новый метод обучения речевых моделей без instruction tuning Исследователи представили метод, позволяющий речевым языковым моделям (SLM) следовать инструкциям без необходимости проведения дорогостоящего обучения с подкреплением или специфического instruction tuning. Авторы доказали, что композиционные способности моделей можно раскрыть через архитектурные оптимизации, избегая синтеза огромных массивов размеченных аудиоданных, что значительно упрощает адаптацию моделей для работы с голосовыми командами и сложными речевыми задачами. arXiv · Инференс и железо Четырехуровневая архитектура оптимизации инференса больших моделей Исследователи представили новую методологию оптимизации инференса для крупномасштабных языковых моделей, сфокусированную на операциях с токенами. Основная цель разработки — снижение стоимости вычислений и повышение стабильности работы сервисов при масштабировании. Предложенная архитектура систематизирует подходы к ускорению генерации текста, объединяя программные и аппаратные уровни взаимодействия. Hacker News · Исследования и наука Ограничение памяти как способ улучшения обучения ИИ-моделей Исследователи из Института психолингвистики Макса Планка выяснили, что искусственное ограничение объема памяти ИИ-моделей до 3–7 элементов значительно повышает эффективность усвоения языка. Аналогия с кратковременной памятью человека помогает нейросетям лучше обобщать правила грамматики и структуры, предотвращая переобучение на избыточных данных и способствуя более качественному формированию лингвистических навыков в процессе обучения.

← Все материалы