The Decoder · 10.08.2026 ·Данные и инжиниринг

Проект FineBooks повышает качество OCR для подготовки данных для обучения LLM

Совместный проект Hugging Face и EleutherAI под названием FineBooks направлен на решение проблемы низкого качества оцифровки исторических текстов. Исследователи протестировали 14 моделей оптического распознавания символов (OCR) на 2000 страниц старинных книг. Лучшая модель, dots.mocr, достигла точности распознавания символов 97,6%, что делает её пригодной для подготовки качественных датасетов для обучения языковых моделей.

Качество данных остается критическим фактором при обучении современных нейросетей. Исторические документы часто содержат ошибки распознавания, вызванные плохим состоянием бумаги, сложной версткой или выцветшими чернилами. Использование таких «зашумленных» текстов в обучающих выборках снижает эффективность моделей. Проект FineBooks систематизирует подходы к выбору инструментов OCR, позволяя исследователям эффективно переводить архивные материалы в машиночитаемый формат с минимальными затратами.

Хотя достигнутая точность в 97,6% достаточна для тренировки ИИ, разработчики отмечают, что для академических публикаций и критических изданий этого уровня пока недостаточно. Тем не менее, масштабируемость решения и низкая стоимость обработки делают его важным шагом для оцифровки огромных массивов исторических знаний, которые ранее были недоступны для качественного анализа нейросетями.

Ключевые факты

Проект FineBooks протестировал 14 различных моделей OCR на выборке из 2000 страниц исторических книг.
Модель dots.mocr показала наилучший результат, достигнув точности распознавания символов 97,6%.
Стоимость обработки составляет менее 2 долларов за 1000 страниц, что обеспечивает высокую экономическую эффективность при масштабировании.
Инициатива реализуется силами специалистов Hugging Face и EleutherAI для улучшения качества данных, используемых в обучении LLM.

Источник: The Decoder

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение Оптимизация OCR на базе Vision Language Models для высокой пропускной способности Разработчики представили подход к созданию высокопроизводительных систем оптического распознавания символов (OCR) на базе мультимодальных моделей (VLM). Метод позволяет значительно снизить затраты на инференс и увеличить скорость обработки документов по сравнению с традиционными проприетарными API, сохраняя при этом высокую точность извлечения данных из сложных визуальных форматов и таблиц. Hacker News · Данные и инжиниринг Project Panama: как Anthropic готовила данные для обучения моделей Компания Anthropic реализовала проект Panama, направленный на создание высококачественного набора данных для обучения LLM путем оцифровки и обработки тысяч физических книг. Инженеры столкнулись с проблемой низкого качества существующих цифровых копий, что потребовало физического уничтожения изданий для их сканирования с высокой точностью, чтобы минимизировать ошибки распознавания текста и сохранить структуру контента. arXiv · Оценка и бенчмарки Исследование устойчивости VLM к визуальным искажениям при распознавании текста Исследователи проанализировали устойчивость мультимодальных моделей (VLM) к деградации изображений при выполнении задач OCR-рассуждений. Работа выявила, что даже незначительные визуальные помехи существенно снижают точность распознавания и логических выводов моделей. Авторы представили методологию оценки, позволяющую измерить влияние структурных искажений и шума на способность нейросетей интерпретировать текст на сложных визуальных данных. arXiv · Исследования и наука Исследование: как исторические тексты влияют на производительность LLM Исследователи проанализировали, почему современные языковые модели хуже справляются с историческими текстами на примере итальянского языка. Авторы выделили два ключевых фактора: «налог на токенизацию» из-за нестандартной орфографии и «налог на понимание», связанный с лингвистическими изменениями. Предложенный диагностический фреймворк позволяет количественно оценить эти барьеры и повысить качество обработки архивных данных с помощью простых методов адаптации. Hacker News · Данные и инжиниринг Разработчики ИИ массово скупают антикварные книги в Германии для обучения моделей Разработчики ИИ начали активно скупать старинные книги в Германии, чтобы использовать их в качестве качественных данных для обучения нейросетей. Этот тренд обусловлен дефицитом высококачественного текстового контента, свободного от авторских прав, и необходимостью расширения обучающих выборок за пределами современного интернета, который становится всё более зашумленным сгенерированным контентом. Hacker News · Данные и инжиниринг Разработчики ИИ массово скупают оцифрованные архивы книг для обучения моделей Разработчики ИИ-моделей переключились на закупку прав на оцифрованные архивы старых книг, чтобы обеспечить чистоту обучающих выборок. В условиях перенасыщения интернета низкокачественным ИИ-контентом, данные из книг, изданных до эпохи генеративных моделей, становятся критически важным ресурсом для поддержания высокого качества ответов LLM и предотвращения деградации моделей из-за «отравления» синтетическими данными. arXiv · Машинное обучение Мультиэкспертная маршрутизация для распознавания редких исторических текстов Исследователи представили метод мультиэкспертной маршрутизации для задач OCR в условиях дефицита данных, применив его к маньчжурской письменности. Система использует чекпоинты итеративного дообучения в качестве узкоспециализированных экспертов, а легкий классификатор на уровне страницы направляет изображения к нужной модели. Это позволяет эффективно обрабатывать визуально различающиеся стили письма, такие как устав, скоропись и дворцовый канцелярский почерк. arXiv · Машинное обучение Автоматизация дешифровки клинописи с помощью компьютерного зрения Исследователи представили новый пайплайн для автоматического распознавания клинописных знаков на глиняных табличках. Проект решает проблему нехватки данных в ассириологии: из полумиллиона найденных артефактов эксперты успели проанализировать лишь малую часть из-за сложности ручной расшифровки. Разработанный метод использует крупнейший на сегодняшний день размеченный датасет клинописных символов для обучения моделей компьютерного зрения. Hacker News · Данные и инжиниринг Разработчики ИИ массово скупают оцифрованные архивы книг для обучения моделей Разработчики ИИ-моделей начали активно скупать права на оцифрованные архивы книг, изданных до появления генеративного ИИ. Основная причина — потребность в качественных, «чистых» данных, не загрязненных синтетическим контентом. Использование текстов, написанных людьми, позволяет повысить точность моделей и избежать деградации качества, вызванной обучением на низкосортных ИИ-генерируемых материалах, которые заполонили интернет. arXiv · Оценка и бенчмарки Стресс-тест OCR-моделей на текстах на языке деванагари Исследователи провели комплексное тестирование десяти систем распознавания текста, включая классические OCR-движки, специализированные OCR-VLM и мультимодальные LLM, на материалах на языке деванагари (хинди). Работа выявила значительный разрыв в качестве обработки индийских скриптов по сравнению с английским и китайским языками, а также предложила методы пост-коррекции для повышения точности распознавания сложных документов.

← Все материалы