Cloudflare представила панель Attribution Business Insights, которая позволяет владельцам сайтов детально отслеживать активность ботов и краулеров, используемых для обучения ИИ. Инструмент помогает классифицировать запросы, оценивать их ценность для бизнеса и принимать обоснованные решения о монетизации контента или ограничении доступа для поисковых систем и разработчиков нейросетей.
Новый функционал интегрирован в экосистему Cloudflare и предоставляет прозрачную аналитику того, какие именно компании и сервисы сканируют веб-ресурсы. Владельцы сайтов теперь могут видеть не только объемы трафика, но и конкретные цели краулинга, что дает возможность вести переговоры о компенсации за использование данных для обучения моделей. Это решение направлено на восстановление баланса между открытостью интернета и защитой интеллектуальной собственности в эпоху генеративного ИИ.
Система автоматически идентифицирует известных ботов, включая инструменты крупных технологических компаний, и предоставляет метрики для оценки нагрузки на инфраструктуру. Такой подход позволяет компаниям переходить от политики полной блокировки всех неизвестных запросов к стратегии управления доступом, основанной на данных о реальной пользе или вреде от конкретных краулеров.
Ключевые факты
- Инструмент Attribution Business Insights предоставляет детализированную статистику по типам ботов и их активности на сайте.
- Система помогает владельцам ресурсов идентифицировать краулеры, собирающие данные для обучения больших языковых моделей.
- Аналитика позволяет компаниям оценивать потенциальную ценность своего контента для ИИ-разработчиков.
- Функционал направлен на упрощение процесса переговоров о лицензировании данных и компенсациях за использование контента.
- Решение помогает оптимизировать нагрузку на серверы, отсекая нежелательный трафик без ущерба для легитимных поисковых систем.