arXiv · 16.07.2026 ·Машинное обучение

VEXMLM: улучшение работы языковых моделей с письмом Геэз

Исследователи представили VEXMLM — модифицированную версию модели XLM-R, оптимизированную для амхарского и тигринья. Авторы решают проблему низкой эффективности мультиязычных моделей при работе с языками, использующими письмо Геэз. За счет расширения словаря и оптимизации токенизации удалось значительно снизить уровень фрагментации слов и долю неизвестных токенов, что повышает качество обработки текстов для этих африканских языков.

Современные предобученные языковые модели часто демонстрируют посредственные результаты на языках с нелатинской графикой. Это происходит из-за того, что стандартные токенизаторы обучаются преимущественно на латинице, что приводит к избыточному дроблению слов на мелкие части и высокому показателю OOV (out-of-vocabulary). VEXMLM устраняет этот разрыв, адаптируя архитектуру под специфику морфологии и графики языков, распространенных в Эфиопии и Эритрее.

Данное исследование подчеркивает важность инклюзивного подхода к созданию токенизаторов. Вместо использования универсальных словарей, авторы предлагают целенаправленное расширение для языков с ограниченными ресурсами. Такой метод позволяет повысить точность понимания и генерации текста без необходимости полного переобучения огромных моделей с нуля, что делает технологию доступнее для локальных языковых сообществ.

Ключевые факты

VEXMLM является расширенной версией модели XLM-R, адаптированной для работы с письмом Геэз.
Основная цель разработки — борьба с высокой фрагментацией подслов и большим количеством неизвестных токенов в амхарском и тигринья.
Исследование направлено на преодоление предвзятости мультиязычных моделей, ориентированных преимущественно на латинский алфавит.
Метод позволяет улучшить производительность NLP-задач для языков с низким уровнем цифровых ресурсов.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение ROMEVA: новый метод адаптации словарей для языков с низкой представленностью Исследователи представили метод ROMEVA (Roman Urdu Embedding-preserving Vocabulary Adaptation), направленный на улучшение работы мультиязычных моделей с языками, имеющими нестабильную морфологию и написание. В качестве примера авторы рассматривают романский урду — язык, где отсутствие единых стандартов орфографии приводит к избыточной фрагментации токенов. В стандартных моделях вроде mBERT это создает проблему, при которой один токен разбивается в среднем на 1,5 подслова, что снижает эффективность обработки текста. arXiv · Машинное обучение DeltaMerge-LowRes: эффективная адаптация моделей через композицию весовых дельт Исследователи представили метод DeltaMerge-LowRes, позволяющий адаптировать мультиязычные энкодеры к новым языкам и задачам без дорогостоящего совместного дообучения. Вместо объединения параметров в процессе обучения, подход предполагает раздельное вычисление языковых и целевых «дельт» (изменений весов) с последующей их комбинацией в пространстве весов, что критически важно для условий с крайне ограниченным объемом размеченных данных. arXiv · Машинное обучение Новый метод декодирования для борьбы с повторами в LLM Исследователи представили метод Variance-Calibrated Modulation (VCM), направленный на устранение проблемы «ловушки правдоподобия» при генерации текста большими языковыми моделями. Традиционные подходы к декодированию, такие как Top-p или Min-p, часто приводят к монотонности и избыточным повторам, так как модели склонны чрезмерно полагаться на наиболее вероятные токены, игнорируя разнообразие лексики, характерное для человеческой речи. arXiv · Исследования и наука Решение проблемы деградации моделей распознавания речи для бенгальского языка Исследователи представили метод «трансплантации токенизатора» для борьбы с авторегрессионным коллапсом в компактных моделях распознавания речи (ASR). Проблема возникает при адаптации архитектур, оптимизированных под английский язык, для морфологически богатых языков, таких как бенгальский. Замена стандартного байтового токенизатора на специализированный позволяет избежать фрагментации слов и значительно повышает точность работы моделей на периферийных устройствах. arXiv · Оценка и бенчмарки Стресс-тест OCR-моделей на текстах на языке деванагари Исследователи провели комплексное тестирование десяти систем распознавания текста, включая классические OCR-движки, специализированные OCR-VLM и мультимодальные LLM, на материалах на языке деванагари (хинди). Работа выявила значительный разрыв в качестве обработки индийских скриптов по сравнению с английским и китайским языками, а также предложила методы пост-коррекции для повышения точности распознавания сложных документов. Hacker News · Оценка и бенчмарки Ежедневное слепое тестирование LLM на задачах суммаризации Автор проекта Snipvote запустил платформу для ежедневного сравнения ведущих языковых моделей в режиме слепого тестирования. Пользователи оценивают качество суммаризации одного и того же новостного текста шестью разными LLM, не зная, какая модель сгенерировала конкретный ответ. Такой подход позволяет собрать независимые данные о реальной эффективности моделей в прикладных задачах обработки естественного языка. Hacker News · Машинное обучение Улучшение креативного письма LLM через контроль энтропии Исследователи предложили метод повышения качества творческих текстов, генерируемых большими языковыми моделями, с помощью управления энтропией распределения вероятностей токенов. Вместо стандартного жадного поиска или случайного сэмплирования, подход динамически регулирует «непредсказуемость» выбора слов, что позволяет моделям избегать клише и создавать более выразительные, разнообразные и стилистически связные повествования в задачах креативного письма. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. Hacker News · Исследования и наука HRM-Text: новый подход к эффективному дообучению языковых моделей Исследователи представили HRM-Text — метод повышения эффективности предобучения языковых моделей, который выходит за рамки простого увеличения вычислительных мощностей. Авторы предлагают оптимизированный подход к обработке данных и архитектурным изменениям, позволяющий достичь высокой производительности при меньших затратах ресурсов. Это значимый шаг в сторону оптимизации обучения LLM, делающий создание мощных моделей более доступным и экономически оправданным. arXiv · Обучение и дообучение Randomized YaRN: новый метод улучшения работы LLM с длинными контекстами Исследователи представили метод Randomized YaRN, направленный на решение проблемы ограниченной длины контекста в больших языковых моделях. Большинство современных LLM проходят предварительное обучение на относительно коротких последовательностях, а затем адаптируются для работы с длинными текстами. Однако даже после дообучения такие модели часто демонстрируют снижение качества при обработке данных, значительно превышающих длину, использованную в процессе адаптации.

← Все материалы