Hacker News · 14.07.2026 ·Данные и инжиниринг

Project Panama: как Anthropic готовила данные для обучения моделей

Компания Anthropic реализовала проект Panama, направленный на создание высококачественного набора данных для обучения LLM путем оцифровки и обработки тысяч физических книг. Инженеры столкнулись с проблемой низкого качества существующих цифровых копий, что потребовало физического уничтожения изданий для их сканирования с высокой точностью, чтобы минимизировать ошибки распознавания текста и сохранить структуру контента.

Процесс включал не только сканирование, но и сложную постобработку для очистки данных от артефактов, возникающих при OCR-распознавании. В отличие от использования готовых интернет-корпусов, этот подход позволил получить «чистые» тексты, свободные от шума, характерного для веб-скрейпинга. Это критически важно для обучения моделей, где качество обучающей выборки напрямую влияет на логические способности и связность ответов нейросети.

Инициатива подчеркивает сдвиг в индустрии ИИ: переход от количественного накопления данных из интернета к качественному курированию и подготовке специализированных датасетов. Использование физических носителей гарантирует отсутствие «отравленных» данных и позволяет контролировать чистоту обучающего материала на этапе подготовки, что становится конкурентным преимуществом при создании моделей с глубокими знаниями в различных предметных областях.

Ключевые факты

Проект Panama был сфокусирован на создании эталонного набора данных для обучения LLM через оцифровку печатных книг.
Основной проблемой стали ошибки OCR в существующих цифровых архивах, которые снижали качество обучения.
Для достижения высокой точности распознавания физические экземпляры книг подвергались разрезанию и поточному сканированию.
Использование курируемых данных из книг позволяет минимизировать «шум» и ошибки, характерные для данных, собранных путем массового скрейпинга веб-ресурсов.
Проект демонстрирует приоритет качества данных над их объемом в текущей стратегии разработки передовых языковых моделей.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Данные и инжиниринг Разработчики ИИ массово скупают антикварные книги в Германии для обучения моделей Разработчики ИИ начали активно скупать старинные книги в Германии, чтобы использовать их в качестве качественных данных для обучения нейросетей. Этот тренд обусловлен дефицитом высококачественного текстового контента, свободного от авторских прав, и необходимостью расширения обучающих выборок за пределами современного интернета, который становится всё более зашумленным сгенерированным контентом. Hacker News · Данные и инжиниринг Pay-per-Crawl: новая модель монетизации веб-данных для обучения ИИ Проект Pay-per-Crawl предлагает рыночный подход к проблеме сбора данных, позволяя владельцам сайтов монетизировать контент через микроплатежи за каждый успешный запрос от краулеров. Эта модель призвана сбалансировать потребности разработчиков ИИ в качественных обучающих выборках и права владельцев ресурсов, которые сейчас массово блокируют доступ к своим данным из-за неконтролируемого парсинга. arXiv · Исследования и наука Исследование: как исторические тексты влияют на производительность LLM Исследователи проанализировали, почему современные языковые модели хуже справляются с историческими текстами на примере итальянского языка. Авторы выделили два ключевых фактора: «налог на токенизацию» из-за нестандартной орфографии и «налог на понимание», связанный с лингвистическими изменениями. Предложенный диагностический фреймворк позволяет количественно оценить эти барьеры и повысить качество обработки архивных данных с помощью простых методов адаптации. arXiv · Оценка и бенчмарки Исследование устойчивости VLM к визуальным искажениям при распознавании текста Исследователи проанализировали устойчивость мультимодальных моделей (VLM) к деградации изображений при выполнении задач OCR-рассуждений. Работа выявила, что даже незначительные визуальные помехи существенно снижают точность распознавания и логических выводов моделей. Авторы представили методологию оценки, позволяющую измерить влияние структурных искажений и шума на способность нейросетей интерпретировать текст на сложных визуальных данных. arXiv · Машинное обучение Автоматизация дешифровки клинописи с помощью компьютерного зрения Исследователи представили новый пайплайн для автоматического распознавания клинописных знаков на глиняных табличках. Проект решает проблему нехватки данных в ассириологии: из полумиллиона найденных артефактов эксперты успели проанализировать лишь малую часть из-за сложности ручной расшифровки. Разработанный метод использует крупнейший на сегодняшний день размеченный датасет клинописных символов для обучения моделей компьютерного зрения. Hacker News · Машинное обучение Оптимизация OCR на базе Vision Language Models для высокой пропускной способности Разработчики представили подход к созданию высокопроизводительных систем оптического распознавания символов (OCR) на базе мультимодальных моделей (VLM). Метод позволяет значительно снизить затраты на инференс и увеличить скорость обработки документов по сравнению с традиционными проприетарными API, сохраняя при этом высокую точность извлечения данных из сложных визуальных форматов и таблиц. Hacker News · Машинное обучение Методология подготовки данных для обучения специализированным навыкам ИИ Качество и структура обучающих данных остаются критическим фактором при дообучении моделей для выполнения узкоспециализированных задач. Эксперты в области машинного обучения представили детальный разбор подходов к формированию датасетов, которые позволяют эффективно передавать ИИ новые навыки, минимизируя при этом галлюцинации и повышая точность ответов в сложных предметных областях. Hacker News · Исследования и наука HRM-Text: новый подход к эффективному дообучению языковых моделей Исследователи представили HRM-Text — метод повышения эффективности предобучения языковых моделей, который выходит за рамки простого увеличения вычислительных мощностей. Авторы предлагают оптимизированный подход к обработке данных и архитектурным изменениям, позволяющий достичь высокой производительности при меньших затратах ресурсов. Это значимый шаг в сторону оптимизации обучения LLM, делающий создание мощных моделей более доступным и экономически оправданным. arXiv · Исследования и наука Новый подход к отбору данных для суммаризации научных текстов Исследователи представили метод повышения качества обучения моделей для суммаризации длинных научных документов. Авторы работы доказали, что использование всех доступных аннотаций от авторов статей не всегда эффективно из-за их неоднородного качества. Предложенный алгоритм фильтрации данных позволяет отбирать наиболее релевантные примеры, что значительно улучшает точность генерации кратких изложений для моделей с длинным контекстным окном. arXiv · Машинное обучение Итеративная самофильтрация данных для обучения мультимодальных моделей Качество обучающих выборок остается критическим фактором при создании эффективных мультимодальных нейросетей. В условиях работы с массивами данных гигантского объема ручная проверка становится невозможной, что приводит к накоплению значительного количества «шумных» и нерелевантных примеров. Традиционные методы очистки данных, основанные на эвристиках или использовании сторонних предобученных моделей, часто оказываются недостаточно гибкими или требуют больших вычислительных затрат.

← Все материалы