Cloudflare обязала разработчиков ИИ до 15 сентября разделить поисковые краулеры и ботов, собирающих данные для обучения моделей. В противном случае компания предоставит владельцам сайтов инструменты для автоматической блокировки таких ботов. Это решение направлено на защиту контента издателей и создание механизма монетизации данных, используемых для тренировки нейросетей и работы агентных систем.
Новая политика компании позволяет владельцам ресурсов через панель управления Cloudflare блокировать ботов, которые не соблюдают разделение функций. Если краулер не идентифицирует себя как инструмент исключительно для поисковой индексации, он будет классифицирован как «ИИ-бот». Это дает издателям рычаг давления на разработчиков ИИ, вынуждая их вступать в переговоры о лицензировании контента вместо неконтролируемого парсинга.
Данный шаг отражает растущий тренд на регулирование доступа к данным в эпоху генеративного ИИ. Ранее многие компании жаловались на то, что их интеллектуальная собственность используется для обучения моделей без согласия и компенсации. Теперь техническая инфраструктура Cloudflare становится инструментом обеспечения прав собственности на цифровой контент в интернете.
Ключевые факты
- Крайний срок для разделения краулеров — 15 сентября.
- Разработчики должны четко разграничивать ботов для поисковой выдачи и ботов для обучения ИИ.
- Владельцы сайтов получают возможность блокировать «ИИ-ботов» по умолчанию через настройки Cloudflare.
- Мера направлена на принуждение ИИ-компаний к заключению лицензионных соглашений с правообладателями контента.