Cloudflare представила расширенные настройки для контроля доступа ИИ-ботов к веб-ресурсам. Теперь владельцы сайтов могут дифференцированно управлять трафиком, разделяя поисковых роботов, агентные системы и ботов для обучения моделей. Новая функциональность также позволяет защищать страницы с рекламной монетизацией от несанкционированного скрапинга, обеспечивая более гибкий контроль над использованием контента в эпоху генеративного ИИ.
Ранее владельцам ресурсов был доступен лишь общий переключатель для блокировки всех автоматизированных систем. Обновление позволяет точечно настраивать политики доступа: например, разрешить индексацию для поисковых систем, но ограничить доступ для ботов, собирающих данные для обучения нейросетей. Это дает возможность владельцам сайтов сохранять контроль над интеллектуальной собственностью, не теряя при этом видимость в поисковой выдаче.
Инструмент ориентирован на защиту бизнес-моделей, основанных на рекламном доходе. Автоматизированный сбор контента для обучения моделей часто лишает сайты трафика, так как пользователи получают ответы непосредственно в интерфейсе чат-ботов. Новые настройки позволяют автоматически выявлять и ограничивать активность таких систем, сохраняя при этом доступ для легитимных поисковых краулеров, которые способствуют привлечению аудитории.
Ключевые факты
- Владельцы сайтов получили возможность разделять трафик на поисковых роботов, агентные системы и ботов для обучения.
- Внедрена специализированная защита для страниц, монетизируемых через рекламные сети.
- Новые настройки доступны всем клиентам Cloudflare, включая пользователей бесплатных тарифных планов.
- Обновление направлено на предотвращение неконтролируемого скрапинга контента для нужд генеративного ИИ.