Hacker News · 11.07.2026 ·Данные и инжиниринг

Стоимость обработки данных: почему одна страница Wikipedia «стоит» 68 000 токенов

Исследование показало, что стандартная статья из Wikipedia при передаче в контекстное окно LLM может потреблять до 68 000 токенов. Это происходит из-за особенностей токенизации HTML-разметки и метаданных, которые часто игнорируются при оценке стоимости RAG-систем. Высокий расход токенов на служебную информацию существенно увеличивает затраты на инференс и снижает эффективность работы с большими базами знаний.

Проблема заключается в избыточности исходных данных: при парсинге веб-страниц в модель попадает не только полезный текст, но и навигационные элементы, CSS-классы, скрипты и атрибуты разметки. В условиях, когда стоимость API-запросов напрямую зависит от объема входных токенов, такая «грязная» передача данных приводит к неоправданным расходам и быстрому заполнению лимитов контекстного окна, что критично для сложных агентных систем.

Оптимизация пайплайнов обработки данных становится ключевым фактором экономии. Разработчикам рекомендуется внедрять этапы глубокой очистки контента, включая удаление нерелевантных тегов и нормализацию текста до подачи в векторную базу данных или напрямую в модель. Использование специализированных парсеров, ориентированных на извлечение только смыслового контента, позволяет сократить объем потребляемых токенов в несколько раз без потери качества ответов.

Ключевые факты

Расход в 68 000 токенов зафиксирован при обработке одной страницы Wikipedia в исходном HTML-формате.
Основная часть токенов тратится на техническую разметку, не несущую смысловой нагрузки для LLM.
Избыточность данных напрямую увеличивает стоимость инференса и сокращает доступное пространство для полезного контекста.
Предварительная очистка и структурирование данных являются обязательными этапами для снижения операционных затрат при масштабировании RAG-решений.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Влияние правок сообщества Wikipedia на ценности и предвзятость LLM Исследователи проанализировали, как активное участие редакторов Wikipedia в формировании контента влияет на ценностные установки больших языковых моделей. Изучение показало, что специфические идеологические правки и дискуссии внутри сообщества энциклопедии напрямую коррелируют с тем, как модели обучаются интерпретировать спорные темы и формировать ответы, отражая предвзятость, заложенную в исходных данных. Hacker News · Разработка и инструменты Влияние стиля написания кода на стоимость токенов в LLM Исследование показывает прямую зависимость между стилем написания кода и расходами на API при работе с большими языковыми моделями. Автор проанализировал, как форматирование, использование комментариев и структура кода влияют на количество потребляемых токенов. Оптимизация стиля позволяет существенно снизить затраты на инференс без потери функциональности и читаемости программных решений при использовании LLM для генерации или рефакторинга. Hacker News · ИИ в бизнесе Почему расходы на ИИ-инфраструктуру выходят из-под контроля Компании сталкиваются с неоправданным ростом счетов за использование LLM из-за отсутствия контроля над эффективностью запросов и архитектурными излишествами. Основные причины переплат кроются в избыточном использовании токенов, отсутствии кэширования и выборе моделей, чья мощность превышает реальные задачи проекта. Оптимизация затрат требует перехода от слепого внедрения API к системному управлению жизненным циклом запросов. Hacker News · ИИ в бизнесе Как вежливость пользователей увеличивает расходы OpenAI на инференс Пользовательские запросы к LLM, содержащие слова вежливости вроде «пожалуйста» и «спасибо», приводят к значительным финансовым потерям для OpenAI. Из-за особенностей работы токенизаторов и механизмов внимания модели, такие фразы увеличивают количество обрабатываемых токенов, что в масштабах миллионов ежедневных запросов выливается в миллионы долларов дополнительных затрат на вычислительные мощности. Hacker News · Исследования и наука Анализ эффективности использования токенов в LLM Исследователи провели аудит одного миллиарда токенов, чтобы выявить закономерности потребления ресурсов при работе с большими языковыми моделями. Основной вывод работы заключается в том, что значительная часть вычислительных затрат приходится на избыточные или неэффективные запросы, в то время как полезная информационная нагрузка составляет лишь малую долю от общего объема обработки. Hacker News · Бизнес и инвестиции Анализ стоимости токенов в современных LLM Эрик Джонсон опубликовал детальный разбор экономики использования больших языковых моделей, сфокусировавшись на реальной стоимости токенов. Автор проанализировал ценообразование ведущих провайдеров, таких как OpenAI и Anthropic, чтобы помочь компаниям точнее прогнозировать расходы на внедрение ИИ. Исследование показывает, как выбор модели и контекстного окна напрямую влияет на итоговый бюджет при масштабировании агентных систем. Hacker News · Инфраструктура для агентов Оптимизация расходов на токены в LLM-приложениях Разработчики часто переплачивают за использование API больших языковых моделей из-за неэффективного управления контекстом и избыточных запросов. Инструмент TokenDiet предлагает решение для анализа и оптимизации потребления токенов, позволяя снизить операционные расходы на ИИ-сервисы. Сервис помогает выявлять «тяжелые» промпты и неоптимальные паттерны взаимодействия с моделями, что напрямую влияет на стоимость масштабирования агентных систем. Hacker News · Инфраструктура для агентов Shadow Web: инструмент для оптимизации токенов при парсинге веб-страниц Shadow Web — это новый инструмент, предназначенный для значительного сокращения количества токенов при передаче веб-контента в LLM-агенты. Решение отсекает лишние элементы DOM, оставляя только семантически важную информацию. В зависимости от структуры страницы, библиотека позволяет уменьшить потребление токенов на 64–97%, что напрямую снижает затраты на инференс и ускоряет обработку данных агентами. Hacker News · Инфраструктура для агентов PixelPi: оптимизация контекста для браузерных ИИ-агентов Библиотека PixelPi предлагает новый подход к обработке веб-страниц для ИИ-агентов, радикально сокращая потребление токенов. Вместо передачи в модель полного HTML-кода, который часто достигает 180 тысяч токенов, инструмент извлекает только визуально значимые элементы. Это позволяет сжать контекст до 2 тысяч токенов, сохраняя при этом семантическую структуру страницы для корректной работы LLM. Hacker News · Инфраструктура для агентов Оптимизация затрат на LLM-пайплайны через архитектурные изменения Инженерные команды все чаще сталкиваются с тем, что простая замена одной языковой модели на другую дает меньший экономический эффект, чем оптимизация самой архитектуры обработки данных. Анализ реальных продакшн-систем показывает, что значительное сокращение расходов достигается за счет внедрения многоуровневых стратегий кэширования и пересмотра подходов к формированию промптов. Вместо того чтобы полагаться исключительно на возможности дорогих моделей, разработчики переходят к использованию компактных моделей для классификации задач и предварительной фильтрации контекста.

← Все материалы