arXiv · 16.06.2026 ·Исследования и наука

Как цифровизировать арабско-английский словарь Al-Mawrid

Учёные представили методологию для систематической цифровизации и кодирования арабско-английского словаря Al-Mawrid. Исследование преобразует печатный ресурс в стандартизированный вычислительный словарь, заполняя пробел в арабской лексической инфраструктуре.

Авторы использовали двойной стандарт: ISO Lexical Markup Framework (LMF) и Text Encoding Initiative (TEI) Lex-0. Это позволяет структурировать данные для дальнейшего использования в ИИ и лингвистических системах.

Работа направлена на улучшение доступа к арабским языковым данным и их интеграцию в современные технологии. Это важно для развития ИИ, способного работать с арабским языком, и для автоматизации перевода.

Исследование опубликовано на arXiv и доступно по ссылке: https://arxiv.org/abs/2606.18205v1.

Источник: arXiv

Похожие материалы

arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. arXiv · Исследования и наука Новый метод для мультимодального разрешения кореферентности без предварительного обучения Исследователи предложили новый подход Plug-and-Adapt для мультимодального разрешения кореферентности (MCR), который не требует предварительного обучения на аннотированных данных. В статье на arXiv показано, что визуальная информация помогает устранять неоднозначности в тексте, что значительно повышает точность системы. Hacker News · Машинное обучение Практическое руководство по дообучению LLM Исследователи представили подробное руководство по дообучению языковых моделей (LLM). Документ охватывает ключевые аспекты, включая выбор данных, настройку гиперпараметров и оценку результатов. Авторы подчеркивают важность качества данных и предлагают методы для минимизации шума и смещения. Hugging Face - Blog · Модели и релизы QIMMA: новый лидерборд для арабских языковых моделей Команда из TII UAE представила QIMMA — первый лидерборд, ориентированный на качество арабских языковых моделей. В отличие от традиционных рейтингах, QIMMA фокусируется на оценке качества, а не на количестве параметров или производительности на общих бенчмарках. arXiv · Модели и релизы Исследование: VLA-модели плохо работают с неанглийскими языками Недавнее исследование, опубликованное на arXiv, раскрывает значительный пробел в способности Vision-Language-Action (VLA) моделей работать с языками, отличными от английского. Эти модели, которые демонстрируют многообещающие возможности в обучении универсальных политик роботов на основе мультимодальных данных, в основном обучаются и оцениваются на английских инструкциях. Это оставляет их способность понимать и выполнять команды на других языках практически неизученной. arXiv · Модели и релизы Новый метод SoftMoE для эффективного масштабирования LLM Исследователи предложили новый подход SoftMoE для улучшения работы архитектур Mixture-of-Experts (MoE) в языковых моделях. Традиционные MoE используют top-k маршрутизацию, которая активирует только часть экспертов, но из-за недифференцируемости этого оператора число активных экспертов фиксировано, что приводит к неэффективному использованию вычислительных ресурсов. arXiv · Машинное обучение LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки. arXiv · Инфраструктура для агентов Новый метод декодирования для ускорения работы ИИ-агентов Исследователи из MIT и Google Research предложили новый подход к декодированию в языковых моделях, который может значительно ускорить работу ИИ-агентов. В статье, опубликованной на arXiv, они представляют метод Mean-Field Parallel Decoding, который позволяет генерировать токены параллельно, минимизируя задержки. Hacker News · Обучение и дообучение Новые датасеты для ML-исследований от ArXiv и Semantic Scholar Команда FineSet.io выпустила набор датасетов, собранных из ArXiv и Semantic Scholar. Эти датасеты представлены в формате JSONL и содержат оценки качества, что делает их полезными для исследователей и разработчиков в области машинного обучения. arXiv · Модели и релизы Influcoder: новый метод атрибуции данных для улучшения качества датасетов Исследователи представили метод Influcoder, который позволяет оценивать влияние отдельных данных на обучение языковых моделей. Это важно для создания качественных датасетов, так как позволяет выявлять и удалять вредоносные или нерелевантные данные.

← Все материалы