Hacker News · 24.06.2026 ·Данные и инжиниринг

Выпущен датасет LOCUS-v1 с 2,2 млн текстов локальных законов и постановлений

Исследователи представили LOCUS-v1 — масштабный открытый датасет, содержащий более 2,2 миллиона текстов муниципальных законов и нормативных актов. Этот ресурс предназначен для обучения и дообучения языковых моделей, специализирующихся на анализе юридической документации, поиске правовой информации и автоматизации работы с региональными нормами, которые ранее были труднодоступны для машинной обработки в едином формате.

Набор данных охватывает широкий спектр локальных постановлений, что позволяет разработчикам создавать специализированные RAG-системы и агентные решения для юридического сектора. Использование таких данных критически важно для повышения точности моделей при работе с узкоспециализированным контекстом, где общие знания LLM часто оказываются недостаточными или неактуальными. Структурированность датасета упрощает интеграцию в пайплайны обработки естественного языка.

Публикация LOCUS-v1 закрывает значительный пробел в доступности качественных юридических корпусов текстов, ориентированных на низовой уровень законодательства. Это открывает возможности для создания инструментов, способных анализировать противоречия между местными актами и федеральным законодательством, а также для автоматизации комплаенс-процедур в различных отраслях бизнеса, работающих с локальными регуляциями.

Ключевые факты

Общий объем датасета составляет 2,2 миллиона документов.
Данные включают тексты локальных законов, постановлений и муниципальных ордонансов.
Датасет доступен для свободного использования на платформе Hugging Face.
Ресурс предназначен для задач Fine-tuning, RAG и обучения специализированных юридических моделей.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

arXiv · Данные и инжиниринг Представлен корпус LOCUS для обучения ИИ в сфере местного законодательства США Исследователи представили LOCUS — масштабный корпус данных, объединяющий локальные нормативные акты США. Ранее этот пласт правовой информации был практически недоступен для машинного обучения из-за фрагментарности источников и отсутствия единого формата. Локальные постановления регулируют ключевые аспекты повседневной жизни, включая вопросы зонирования, жилищного строительства, лицензирования бизнеса, охраны общественного здоровья и контроля за животными. arXiv · Данные и инжиниринг Выпущен датасет CzechDocs для обучения систем перевода с сохранением форматирования Исследователи представили CzechDocs — многоязычный параллельный набор данных, предназначенный для совершенствования систем машинного перевода. Корпус включает документы в форматах HTML, DOCX и PDF, что позволяет обучать модели не только точному переводу текста, но и сохранению исходной структуры и верстки файлов. Это критически важный аспект для автоматизации обработки сложной документации, где визуальное оформление несет смысловую нагрузку. arXiv · Исследования и наука Новый подход к отбору данных для суммаризации научных текстов Исследователи представили метод повышения качества обучения моделей для суммаризации длинных научных документов. Авторы работы доказали, что использование всех доступных аннотаций от авторов статей не всегда эффективно из-за их неоднородного качества. Предложенный алгоритм фильтрации данных позволяет отбирать наиболее релевантные примеры, что значительно улучшает точность генерации кратких изложений для моделей с длинным контекстным окном. Hacker News · Обучение и дообучение Новые датасеты для ML-исследований от ArXiv и Semantic Scholar Команда FineSet.io выпустила набор датасетов, собранных из ArXiv и Semantic Scholar. Эти датасеты представлены в формате JSONL и содержат оценки качества, что делает их полезными для исследователей и разработчиков в области машинного обучения. arXiv · Данные и инжиниринг Новый датасет для обучения LLM на финансовых отчётах Исследователи из Стэнфорда представили новый датасет для обучения языковых моделей. Stanford EDGAR Filings Dataset (SEFD) содержит финансовые отчёты компаний США, собранные из системы EDGAR SEC. Это первый крупный датасет, который включает структурированные и длинные документы с сохранением оригинального форматирования. Hacker News · Модели и релизы Common Corpus: крупнейший набор данных для предобучения LLM Исследователи представили Common Corpus — крупнейший на сегодняшний день набор данных для предобучения языковых моделей. Проект включает более 1,5 триллиона токенов, собранных из открытых источников с соблюдением этических норм. Hacker News · Данные и инжиниринг Polyvia: инструмент для мультимодального поиска по большим массивам документов Представлен проект Polyvia, ориентированный на работу с крупными базами неструктурированных данных. Система позволяет выполнять мультимодальный поиск по архивам, насчитывающим более 100 тысяч файлов. Инструмент предназначен для извлечения информации из документов различных форматов, объединяя текстовые и визуальные данные в единый индекс для последующих запросов. Hacker News · Данные и инжиниринг Поиск по 540 000 государственным датасетам США на двух ядрах CPU Запущен поисковый сервис findgovdata.org, предоставляющий доступ к более чем 540 тысячам наборов данных правительства США. Особенность проекта заключается в отказе от использования LLM и тяжелых векторных баз данных в пользу гибридного поиска, оптимизированного для работы на минимальных вычислительных мощностях. Система демонстрирует высокую производительность, функционируя всего на двух ядрах центрального процессора. The GitHub Blog · Модели и релизы GitHub выпустил открытый датасет для обучения многоязычных моделей GitHub представил новый открытый датасет, содержащий мультиязычный контент из репозиториев. Данные собраны из README, issues и pull requests и доступны под лицензией CC0-1.0. arXiv · Оценка и бенчмарки Исследование: проблема избыточных отказов малых LLM в юридической сфере Исследователи проанализировали поведение компактных локальных языковых моделей при работе с юридическими запросами. Выяснилось, что небольшие модели склонны к «избыточным отказам» (overrefusal) в контексте уголовного права, даже когда запрос не нарушает этических норм. Это создает риски для профессионалов, использующих ИИ для рутинных задач, таких как перевод или переформулирование документов, из-за непредсказуемой избирательности систем.

← Все материалы