Cloudflare представила систему детального управления доступом ИИ-ботов к веб-ресурсам. Теперь владельцы сайтов могут раздельно настраивать разрешения для поисковых систем, моделей для обучения и автономных агентов. Нововведение позволяет гибко управлять использованием контента, вместо полного блокирования всех автоматизированных запросов, что дает компаниям больше контроля над данными, используемыми для обучения нейросетей.
Ранее инструменты защиты Cloudflare предлагали лишь бинарный выбор: разрешить или запретить весь трафик от ботов. Новый подход позволяет владельцам ресурсов поддерживать видимость в поисковой выдаче, одновременно ограничивая доступ для краулеров, собирающих данные для обучения больших языковых моделей. Это решение направлено на защиту интеллектуальной собственности и предотвращение несанкционированного использования контента.
С 15 сентября 2026 года компания вводит политику блокировки по умолчанию для ботов, занимающихся обучением и агентской деятельностью, на страницах с рекламной монетизацией. Это изменение призвано защитить доходы издателей, чей контент часто используется для создания ИИ-продуктов без компенсации или прямого согласия правообладателей.
Ключевые факты
- Владельцы сайтов получили возможность раздельно управлять ботами для поиска, обучения и агентской работы.
- Новая система заменяет прежний подход с «ковровой» блокировкой всех автоматизированных запросов.
- С 15 сентября 2026 года боты для обучения и агенты будут блокироваться по умолчанию на страницах с рекламой.
- Инструменты доступны всем клиентам платформы для защиты контента от несанкционированного скрапинга.