Исследование Sitedex показало парадоксальную ситуацию: владельцы сайтов активно закрывают доступ для краулеров ИИ-компаний через robots.txt, но при этом оставляют открытыми пути для ботов, отвечающих на поисковые запросы. Несмотря на массовое внедрение запретов для обучения моделей, большинство ресурсов сохраняют доступность для инструментов, обеспечивающих работу поисковых систем и AI-ответчиков.
Анализ охватил тысячи доменов, которые внедрили директивы `Disallow` для известных ИИ-агентов, таких как GPTBot или CCBot. Однако авторы исследования обнаружили, что техническая реализация этих запретов часто носит формальный характер. Владельцы ресурсов стремятся защитить свой контент от использования в генеративных моделях, но опасаются полностью ограничивать индексацию, чтобы не потерять позиции в поисковой выдаче и трафик.
Ситуация демонстрирует конфликт интересов между защитой интеллектуальной собственности и необходимостью присутствия в поисковой экосистеме. Многие сайты используют избирательные фильтры, блокируя специфические «обучающие» краулеры, но разрешая доступ ботам, которые парсят контент для формирования прямых ответов в поисковых интерфейсах. Это создает «серую зону», где контент продолжает использоваться для генерации ответов, несмотря на формальные запреты на обучение.
Ключевые факты
- Исследование охватило более 10 000 популярных доменов, внедривших ограничения в файлах robots.txt.
- Более 70% сайтов, блокирующих краулеры OpenAI и Anthropic, продолжают разрешать доступ ботам, используемым для поисковой выдачи и RAG-систем.
- Основным инструментом блокировки остается стандарт robots.txt, однако его эффективность снижается из-за сложности идентификации всех типов ИИ-агентов.
- Наблюдается рост использования динамических методов защиты, которые сложнее обходятся, чем стандартные директивы в текстовых файлах.