Аналитическая компания Ahrefs изучила поведение поисковых и ИИ-ботов на 137 тысячах доменов. Исследование показало, что файл llms.txt, предназначенный для предоставления структурированной информации о сайте языковым моделям, практически не востребован. Около 97% проанализированных сайтов, внедривших этот файл, не получили ни одного запроса к нему со стороны автоматизированных систем.
Общий объем трафика от специализированных ИИ-краулеров оказался крайне низким: на них приходится лишь 1% от всех запросов к исследуемым доменам. Несмотря на то, что стандарт llms.txt был предложен как удобный способ передачи контекста для обучения и RAG-систем, текущие данные указывают на то, что разработчики моделей либо предпочитают другие методы сбора данных, либо еще не интегрировали поддержку этого формата в свои алгоритмы обхода сети.
Для владельцев сайтов и SEO-специалистов эти цифры означают, что наличие llms.txt на текущий момент не гарантирует индексацию контента нейросетями или улучшение видимости в ответах ИИ-поисковиков. Индустрия находится на этапе формирования правил взаимодействия между создателями контента и разработчиками моделей, и стандартизация протоколов передачи данных все еще остается открытым вопросом.