arXiv · 01.07.2026 ·Данные и инжиниринг

Svarna: открытый корпус текстов для современного греческого языка

Исследователи представили Svarna — открытую веб-платформу для работы с корпусом современного греческого языка. Инструмент объединяет пять различных баз данных, охватывающих литературные, институциональные, диалектные и исторические тексты, а также контент из социальных сетей. Общий объем платформы превышает 507 миллионов слов, что значительно расширяет возможности для обучения языковых моделей и лингвистических исследований в греческом сегменте.

Создание Svarna направлено на устранение дефицита качественных размеченных данных для греческого языка, который долгое время оставался «низкоресурсным» в контексте современных технологий обработки естественного языка (NLP). Платформа предоставляет исследователям и разработчикам доступ к структурированным данным, необходимым для дообучения LLM, анализа семантики и создания специализированных языковых инструментов.

Архитектура системы позволяет работать с различными регистрами речи, что критически важно для повышения точности генеративных моделей при взаимодействии с пользователями в разных контекстах. Интеграция данных из социальных сетей и официальных документов обеспечивает репрезентативность корпуса, позволяя моделям лучше улавливать как формальные языковые нормы, так и разговорные особенности современного греческого языка.

Ключевые факты

Общий объем корпуса Svarna составляет более 507 миллионов слов.
Платформа содержит около 29 миллионов предложений, структурированных по пяти категориям.
В базу включены тексты из социальных сетей, литературные произведения, исторические архивы и институциональные документы.
Проект является полностью открытым и доступным через веб-интерфейс для широкого круга исследователей.
Платформа решает проблему нехватки данных для развития технологий обработки греческого языка.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Модели и релизы Common Corpus: крупнейший набор данных для предобучения LLM Исследователи представили Common Corpus — крупнейший на сегодняшний день набор данных для предобучения языковых моделей. Проект включает более 1,5 триллиона токенов, собранных из открытых источников с соблюдением этических норм. MarkTechPost · Модели и релизы Gradium представила модели для перевода речи в реальном времени Компания Gradium выпустила две специализированные модели — stt-translate и s2s-translate, предназначенные для высокоскоростного перевода устной речи. Разработчики оптимизировали архитектуру, сократив традиционный каскад из трех этапов до двух, что позволило добиться более низких показателей задержки и повышенной точности по сравнению с GPT-4o Realtime при работе с 20 языковыми парами. Hacker News · Память и RAG ArXiv Scholar — система RAG для работы с научными статьями ArXiv Scholar — это открытая система RAG, разработанная для работы с научными статьями. Она позволяет эффективно извлекать и обрабатывать информацию из документов, хранящихся в ArXiv, что делает её полезной для исследователей и разработчиков в области ИИ. Hacker News · Память и RAG CrossCanon: реализация RAG-системы на базе библейских текстов Проект CrossCanon представляет собой специализированную RAG-систему (Retrieval-Augmented Generation), предназначенную для глубокого семантического поиска и анализа библейских текстов. Инструмент позволяет пользователям задавать вопросы к корпусу священных писаний, получая ответы, подкрепленные точными цитатами и контекстуальными ссылками, что демонстрирует возможности применения векторного поиска в работе с большими структурированными историческими и религиозными архивами данных. arXiv · Исследования и наука Исследование: как исторические тексты влияют на производительность LLM Исследователи проанализировали, почему современные языковые модели хуже справляются с историческими текстами на примере итальянского языка. Авторы выделили два ключевых фактора: «налог на токенизацию» из-за нестандартной орфографии и «налог на понимание», связанный с лингвистическими изменениями. Предложенный диагностический фреймворк позволяет количественно оценить эти барьеры и повысить качество обработки архивных данных с помощью простых методов адаптации. Hacker News · Данные и инжиниринг Выпущен датасет LOCUS-v1 с 2,2 млн текстов локальных законов и постановлений Исследователи представили LOCUS-v1 — масштабный открытый датасет, содержащий более 2,2 миллиона текстов муниципальных законов и нормативных актов. Этот ресурс предназначен для обучения и дообучения языковых моделей, специализирующихся на анализе юридической документации, поиске правовой информации и автоматизации работы с региональными нормами, которые ранее были труднодоступны для машинной обработки в едином формате. Hacker News · Модели и релизы Консорциум Europa представил модель с 400 миллиардами параметров Европейский консорциум Europa одержал победу в профильном конкурсе ИИ-разработок, представив языковую модель с 400 миллиардами параметров. Проект стал ответом на доминирование американских технологических гигантов в области создания крупномасштабных нейросетевых архитектур. Разработка ориентирована на обеспечение технологического суверенитета и создание высокопроизводительных инструментов, адаптированных под европейские стандарты и требования к данным. Hacker News · Память и RAG Google представила спецификацию для создания структурированных баз знаний LLM Google опубликовала спецификацию и набор инструментов для формирования «вики-систем» на базе больших языковых моделей. Проект под названием Knowledge Catalog ориентирован на создание стандартизированных хранилищ данных, которые позволяют ИИ-агентам обращаться к достоверной корпоративной информации. Система решает проблему галлюцинаций за счет строгой структуры данных, пригодной для RAG-архитектур (Retrieval-Augmented Generation). arXiv · Исследования и наука Darshana Graph: корпус для сравнительного анализа индийской философии Исследователи представили Darshana Graph — корпус из более чем 125 000 текстов, охватывающий классические философские традиции индуизма, буддизма и джайнизма. В основу легли публичные и открытые переводы ключевых источников, включая «Бхагавад-гиту», «Брахма-сутры», основные Упанишады, Палийский канон и центральные тексты джайнизма. arXiv · Машинное обучение ROMEVA: новый метод адаптации словарей для языков с низкой представленностью Исследователи представили метод ROMEVA (Roman Urdu Embedding-preserving Vocabulary Adaptation), направленный на улучшение работы мультиязычных моделей с языками, имеющими нестабильную морфологию и написание. В качестве примера авторы рассматривают романский урду — язык, где отсутствие единых стандартов орфографии приводит к избыточной фрагментации токенов. В стандартных моделях вроде mBERT это создает проблему, при которой один токен разбивается в среднем на 1,5 подслова, что снижает эффективность обработки текста.

← Все материалы