Анализ 137 тысяч веб-сайтов показал, что стандарт llms.txt, предназначенный для упрощения индексации контента языковыми моделями, практически не используется. Несмотря на растущую популярность RAG-систем, лишь 3% проанализированных ресурсов содержат этот файл. Исследование подчеркивает разрыв между теоретическим удобством формата для ИИ-агентов и реальной практикой внедрения на стороне владельцев сайтов.
Файл llms.txt задумывался как аналог robots.txt, но сфокусированный на предоставлении структурированного, очищенного от лишнего кода контента, который легко усваивается LLM. Основная цель такого подхода — улучшить качество ответов ИИ при поиске информации на конкретных ресурсах. Однако текущие данные свидетельствуют о том, что большинство администраторов сайтов либо не знают о существовании стандарта, либо не видят в нем достаточного приоритета для внедрения.
Низкий уровень адаптации формата указывает на то, что поисковые системы и ИИ-агенты по-прежнему полагаются на стандартный парсинг HTML-страниц. В условиях, когда качество данных для обучения и контекстного поиска становится критическим фактором, отсутствие унифицированных способов передачи информации для ИИ создает дополнительные барьеры для эффективного взаимодействия между веб-контентом и нейросетевыми архитектурами.
Ключевые факты
- Проанализировано 137 000 веб-сайтов для оценки распространенности стандарта.
- Только 3% сайтов из выборки имеют файл llms.txt в корневой директории.
- 97% ресурсов не используют данный формат для оптимизации взаимодействия с ИИ.
- Стандарт llms.txt предназначен для предоставления LLM-дружелюбного контента в текстовом виде.
- Исследование проведено компанией Ahrefs в рамках анализа трендов взаимодействия ИИ с веб-инфраструктурой.