Hacker News · 21.07.2026 ·Данные и инжиниринг

Разработчики ИИ массово скупают оцифрованные архивы книг для обучения моделей

Разработчики ИИ-моделей переключились на закупку прав на оцифрованные архивы старых книг, чтобы обеспечить чистоту обучающих выборок. В условиях перенасыщения интернета низкокачественным ИИ-контентом, данные из книг, изданных до эпохи генеративных моделей, становятся критически важным ресурсом для поддержания высокого качества ответов LLM и предотвращения деградации моделей из-за «отравления» синтетическими данными.

Компании стремятся минимизировать использование данных из социальных сетей и открытых веб-ресурсов, которые всё чаще содержат сгенерированный мусор. Старые книги предлагают структурированный, качественный и логически связный текст, прошедший профессиональную редактуру. Это позволяет улучшить способности моделей к рассуждению и снизить вероятность появления галлюцинаций, характерных для систем, обученных на «шумных» данных из интернета.

Помимо качества, использование оцифрованных архивов решает проблему авторских прав. Компании предпочитают заключать прямые сделки с издательствами и библиотеками, чтобы получить доступ к легальным корпусам текстов. Это создает новый рынок данных, где ценность контента определяется его «человеческим» происхождением и отсутствием следов автоматизированной генерации.

Ключевые факты

Разработчики ИИ активно скупают права на оцифрованные библиотеки, чтобы избежать обучения на «мусорном» контенте (AI slop).
Тексты, созданные до появления генеративных моделей, считаются эталонными для обучения LLM из-за высокого качества языка и логики.
Использование архивов книг помогает компаниям снизить риски, связанные с авторским правом и юридическими претензиями.
Качество обучающих данных становится главным конкурентным преимуществом в условиях дефицита высококачественного контента в открытом доступе.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Данные и инжиниринг Разработчики ИИ массово скупают антикварные книги в Германии для обучения моделей Разработчики ИИ начали активно скупать старинные книги в Германии, чтобы использовать их в качестве качественных данных для обучения нейросетей. Этот тренд обусловлен дефицитом высококачественного текстового контента, свободного от авторских прав, и необходимостью расширения обучающих выборок за пределами современного интернета, который становится всё более зашумленным сгенерированным контентом. Hacker News · ИИ в бизнесе Партнерства ИИ-компаний с музеями: доступ к данным для обучения моделей Крупные разработчики ИИ-моделей начали активно заключать партнерские соглашения с ведущими мировыми музеями и архивами. В обмен на финансовую поддержку и технологическую помощь в оцифровке коллекций, технологические гиганты получают эксклюзивный доступ к огромным массивам уникальных визуальных и текстовых данных, которые используются для обучения генеративных моделей и улучшения качества их ответов на запросы об искусстве и истории. Hacker News · Бизнес и инвестиции Топ-менеджеры Big Tech предупреждают о рисках передачи интеллектуальной собственности ИИ-лабораториям Руководители крупнейших технологических компаний выразили обеспокоенность тем, что корпоративные клиенты передают слишком много конфиденциальных данных и уникальных знаний разработчикам ИИ-моделей. По мнению экспертов, бесконтрольное использование облачных ИИ-сервисов для обучения моделей может привести к утечке критических бизнес-секретов и потере конкурентных преимуществ, превращая компании в доноров для обучения чужих алгоритмов. Hacker News · Прогнозы и тренды Трансформация веба: контент адаптируют под ИИ-модели вместо пользователей Современный интернет меняет структуру: владельцы сайтов всё чаще оптимизируют контент для парсинга нейросетями, а не для удобства чтения людьми. Этот сдвиг приоритетов приводит к изменению архитектуры веб-страниц, где семантическая разметка и структурированные данные становятся важнее визуального дизайна, что фундаментально меняет роль поисковых систем и пользовательский опыт в сети. arXiv · Исследования и наука Исследование: как исторические тексты влияют на производительность LLM Исследователи проанализировали, почему современные языковые модели хуже справляются с историческими текстами на примере итальянского языка. Авторы выделили два ключевых фактора: «налог на токенизацию» из-за нестандартной орфографии и «налог на понимание», связанный с лингвистическими изменениями. Предложенный диагностический фреймворк позволяет количественно оценить эти барьеры и повысить качество обработки архивных данных с помощью простых методов адаптации. Hacker News · Оценка и бенчмарки Проблема галлюцинаций ИИ в научной деятельности Современные языковые модели при анализе научных данных часто игнорируют фактические доказательства, отдавая предпочтение статистическим закономерностям, заложенным при обучении. Исследователи отмечают, что склонность ИИ к «галлюцинациям» и уверенная подача ложной информации ставят под вопрос использование нейросетей в качестве надежных инструментов для проведения научных изысканий, анализа литературы и проверки гипотез без участия человека. Hacker News · Данные и инжиниринг Project Panama: как Anthropic готовила данные для обучения моделей Компания Anthropic реализовала проект Panama, направленный на создание высококачественного набора данных для обучения LLM путем оцифровки и обработки тысяч физических книг. Инженеры столкнулись с проблемой низкого качества существующих цифровых копий, что потребовало физического уничтожения изданий для их сканирования с высокой точностью, чтобы минимизировать ошибки распознавания текста и сохранить структуру контента. Hacker News · ИИ в бизнесе Риски искажения данных при делегировании задач LLM Исследование выявило критическую проблему при использовании больших языковых моделей для редактирования или обработки документов: склонность ИИ к непроизвольному искажению исходного контента. При делегировании задач по изменению текстов модели часто нарушают структуру, удаляют важные фрагменты или меняют смысл, что делает их использование в бизнес-процессах без строгой верификации потенциально опасным для целостности данных. Hacker News · ИИ в маркетинге Исследование использования LLM при написании технических блогов Анализ практики использования больших языковых моделей для создания контента в технологическом секторе показывает, что авторы все чаще делегируют ИИ рутинные задачи. Основными сценариями стали структурирование черновиков, генерация пояснительных примеров кода и адаптация сложных технических концепций под разные уровни подготовки аудитории. Использование инструментов на базе LLM позволяет сократить время на подготовку публикаций в среднем на 30–40%, при этом сохраняя фокус на экспертной составляющей материала. Hacker News · Машинное обучение Ограничения обучения на знаниях LLM Исследование указывает на фундаментальную проблему при попытке дообучения моделей на основе их собственных ответов. Авторы анализируют, почему использование синтетических данных, сгенерированных самой нейросетью, часто приводит к деградации качества, а не к улучшению навыков. Основная сложность заключается в том, что модель при дообучении начинает воспроизводить собственные статистические ошибки и галлюцинации, закрепляя их как эталонные знания.

← Все материалы