Cloudflare представила инструмент для автоматической блокировки поисковых ботов и парсеров, которые собирают контент для обучения ИИ-моделей без компенсации владельцам сайтов. Новая функция позволяет владельцам ресурсов с рекламной моделью монетизации ограничивать доступ ботам, которые не приносят прямой пользы трафику или поисковой выдаче, защищая тем самым доходы от показа объявлений.
Технология использует поведенческий анализ для идентификации «циничных» ботов, которые имитируют поведение обычных пользователей, но на деле занимаются массовым сбором данных для обучения нейросетей. В отличие от стандартных инструментов управления ботами, этот функционал сфокусирован на защите интеллектуальной собственности и предотвращении потери рекламных показов, которые происходят, когда ИИ-агенты «читают» страницу, не загружая при этом рекламные баннеры.
Разработчики отмечают, что текущая ситуация создает дисбаланс: владельцы контента несут расходы на создание материалов, в то время как компании-разработчики ИИ получают выгоду от использования этих данных, не обеспечивая при этом возврат инвестиций через рекламные просмотры. Новый инструмент дает владельцам сайтов рычаг давления в переговорах с ИИ-компаниями, позволяя требовать лицензионные отчисления за доступ к данным.
Ключевые факты
- Инструмент автоматически распознает и блокирует ботов, занимающихся агрессивным сбором данных для обучения ИИ.
- Основная цель — предотвращение падения доходов от рекламы, вызванного тем, что ИИ-агенты потребляют контент без загрузки рекламных блоков.
- Функция доступна для пользователей платформы Cloudflare в рамках обновленной политики управления ботами.
- Решение направлено на защиту сайтов, чья бизнес-модель полностью или частично зависит от показа объявлений пользователям.