Hacker News · 23.06.2026 ·Исследования и наука

Анализ эффективности использования токенов в LLM

Исследователи провели аудит одного миллиарда токенов, чтобы выявить закономерности потребления ресурсов при работе с большими языковыми моделями. Основной вывод работы заключается в том, что значительная часть вычислительных затрат приходится на избыточные или неэффективные запросы, в то время как полезная информационная нагрузка составляет лишь малую долю от общего объема обработки.

В ходе анализа выяснилось, что до 99% объема данных, проходящих через модели, могут быть оптимизированы без потери качества ответов. Исследование демонстрирует, как именно распределяются затраты на инференс в зависимости от структуры промптов и контекстного окна. Авторы подчеркивают, что текущие методы кэширования и сжатия контекста часто не учитывают реальную плотность информации, что приводит к неоправданному росту счетов за использование API.

Полученные данные позволяют по-новому взглянуть на архитектуру взаимодействия с ИИ-системами. Оптимизация структуры передаваемых данных и внедрение более строгих фильтров на этапе препроцессинга способны существенно снизить операционные расходы бизнеса. Работа предлагает конкретные метрики для оценки эффективности использования токенов, которые могут быть применены при разработке масштабируемых агентных решений и сложных систем автоматизации.

Источник: Hacker News

Похожие материалы

Hacker News · Прогнозы и тренды Анализ динамики цен на использование LLM за два месяца Исследование рынка API для больших языковых моделей выявило ключевые изменения в ценовой политике ведущих провайдеров за восьминедельный период. Анализ охватил стоимость токенов для широкого спектра моделей, включая флагманские решения от OpenAI, Anthropic и Google. Данные показывают, что конкуренция между разработчиками ИИ-систем перешла в фазу активного снижения стоимости инференса, что напрямую влияет на экономику внедрения генеративных инструментов в бизнес-процессы. Hacker News · Бизнес и инвестиции Токены как новая статья расходов в облачной инфраструктуре Переход компаний на использование больших языковых моделей радикально меняет структуру ИТ-бюджетов. Если раньше основными статьями расходов были вычислительные мощности, хранилища и сетевой трафик, то теперь значительную долю затрат занимают токены — единицы измерения потребления ИИ-сервисов. Стоимость генерации контента и обработки данных напрямую зависит от количества токенов, что делает управление этим ресурсом критически важной задачей для финансовой эффективности бизнеса. Hacker News · Инфраструктура для агентов AI-шлюз для оптимизации расходов на токены LLM Разработчики представили специализированный AI-шлюз, предназначенный для снижения затрат на использование API больших языковых моделей. Инструмент выступает посредником между приложением и провайдером модели, внедряя механизмы кэширования и интеллектуальной маршрутизации запросов. По заявлению создателей, внедрение системы позволяет сократить расходы на токены в среднем на 40–70% в зависимости от специфики нагрузки. Hacker News · ИИ в бизнесе Экономическая неэффективность избыточного использования топовых LLM Компании все чаще сталкиваются с проблемой «ИИ-театра», когда для выполнения простых задач неоправданно используются самые мощные и дорогие языковые модели. Использование флагманских решений, таких как GPT-4 или Claude 3.5 Sonnet, для рутинных операций вроде классификации текста или извлечения данных из простых документов приводит к необоснованному росту операционных расходов. Стоимость токенов при таком подходе может превышать реальную ценность выполняемой задачи в десятки раз. Hacker News · Бизнес и инвестиции Оптимизация расходов на LLM через выбор моделей под конкретные задачи Компании все чаще переплачивают за использование топовых моделей вроде GPT-4 в задачах, которые не требуют высокого уровня рассуждений. Анализ показывает, что значительная часть запросов к API приходится на простые операции: классификацию текста, извлечение сущностей или базовую суммаризацию. Для таких процессов использование флагманских нейросетей экономически нецелесообразно, так как более компактные и специализированные модели справляются с аналогичным качеством при кратно меньшей стоимости инференса. Hacker News · Инфраструктура для агентов Оптимизация контекста для снижения расхода токенов в ИИ-агентах Разработчики представили решение, позволяющее сократить потребление токенов более чем на 60% при выполнении агентных задач. Основной принцип работы заключается в автоматическом выявлении и удалении избыточного, повторяющегося контекста, который часто накапливается в ходе многошаговых рассуждений или длительных сессий взаимодействия с языковыми моделями. Hacker News · Исследования и наука Влияние вычислительных ресурсов на оценку производительности LLM Исследователи представили анализ того, как объем вычислительных мощностей, выделяемых на этапе инференса, напрямую влияет на результаты тестирования передовых языковых моделей. В работе рассматривается зависимость между временем обработки запроса, глубиной рассуждений и итоговой точностью ответов в сложных бенчмарках. Авторы подчеркивают, что текущие методы оценки часто не учитывают динамическое масштабирование ресурсов, что приводит к искажению реальных возможностей систем при их развертывании в продакшене. arXiv · Инференс и железо Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. arXiv · Инференс и железо Четырехуровневая архитектура оптимизации инференса больших моделей Исследователи представили новую методологию оптимизации инференса для крупномасштабных языковых моделей, сфокусированную на операциях с токенами. Основная цель разработки — снижение стоимости вычислений и повышение стабильности работы сервисов при масштабировании. Предложенная архитектура систематизирует подходы к ускорению генерации текста, объединяя программные и аппаратные уровни взаимодействия. Hacker News · Инфраструктура для агентов Оптимизация затрат на LLM-пайплайны через архитектурные изменения Инженерные команды все чаще сталкиваются с тем, что простая замена одной языковой модели на другую дает меньший экономический эффект, чем оптимизация самой архитектуры обработки данных. Анализ реальных продакшн-систем показывает, что значительное сокращение расходов достигается за счет внедрения многоуровневых стратегий кэширования и пересмотра подходов к формированию промптов. Вместо того чтобы полагаться исключительно на возможности дорогих моделей, разработчики переходят к использованию компактных моделей для классификации задач и предварительной фильтрации контекста.

← Все материалы