Hacker News · 06.08.2026 ·Исследования и наука

Semantic Thermodynamics: снижение расхода токенов LLM на 79%

Метод Semantic Thermodynamics предлагает новый подход к оптимизации работы больших языковых моделей через введение нарративных ограничений. Исследователи разработали технику, позволяющую сократить потребление токенов на 79% при сохранении качества генерации. Этот подход фокусируется на управлении энтропией текста, что позволяет моделям достигать поставленных целей с использованием значительно меньшего объема вычислительных ресурсов и контекстного окна.

В основе метода лежит концепция «семантической термодинамики», где процесс генерации текста рассматривается как термодинамическая система. Вместо классического предсказания следующего токена с высокой степенью свободы, система накладывает жесткие нарративные рамки. Это ограничивает пространство поиска модели, направляя её к наиболее вероятным и содержательным путям развития мысли, что минимизирует избыточность и «галлюцинации» в длинных контекстах.

Применение данного метода особенно актуально для задач, требующих длительного рассуждения или генерации объемных документов. За счет снижения количества токенов не только уменьшаются прямые затраты на инференс, но и повышается общая скорость отклика системы. Техника демонстрирует, что структурные ограничения могут быть эффективнее, чем простое увеличение параметров модели или расширение контекстного окна.

Ключевые факты

Метод Semantic Thermodynamics позволяет сократить количество используемых токенов на 79%.
Технология базируется на применении нарративных ограничений для управления энтропией генерации.
Подход направлен на повышение эффективности инференса и снижение вычислительных затрат при работе с LLM.
Метод позволяет ограничивать пространство поиска модели, что снижает вероятность генерации избыточного или нерелевантного контента.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. Hacker News · Машинное обучение Улучшение креативного письма LLM через контроль энтропии Исследователи предложили метод повышения качества творческих текстов, генерируемых большими языковыми моделями, с помощью управления энтропией распределения вероятностей токенов. Вместо стандартного жадного поиска или случайного сэмплирования, подход динамически регулирует «непредсказуемость» выбора слов, что позволяет моделям избегать клише и создавать более выразительные, разнообразные и стилистически связные повествования в задачах креативного письма. arXiv · Инференс и железо Оптимизация инференса через метод Relaxed Speculative Decoding Исследователи представили метод Relaxed Speculative Decoding, который ускоряет генерацию текста LLM за счет отказа от строгого соответствия распределению вероятностей исходной модели. В отличие от классического спекулятивного декодирования, этот подход допускает контролируемые отклонения при проверке токенов, что позволяет значительно повысить скорость инференса без необходимости дополнительного обучения вспомогательных моделей. Hacker News · Инференс и железо Технология Lossless Inference для оптимизации работы LLM Разработчики представили технологию Lossless Inference, направленную на повышение эффективности выполнения больших языковых моделей без потери точности ответов. Решение позволяет оптимизировать вычислительные затраты и ускорить генерацию токенов, что критически важно для масштабируемых агентных систем и высоконагруженных сервисов, работающих с современными LLM в режиме реального времени. Hacker News · Разработка и инструменты Влияние стиля написания кода на стоимость токенов в LLM Исследование показывает прямую зависимость между стилем написания кода и расходами на API при работе с большими языковыми моделями. Автор проанализировал, как форматирование, использование комментариев и структура кода влияют на количество потребляемых токенов. Оптимизация стиля позволяет существенно снизить затраты на инференс без потери функциональности и читаемости программных решений при использовании LLM для генерации или рефакторинга. Hacker News · Исследования и наука Энергоэффективность LLM: сколько электричества потребляет инференс Исследователи проанализировали энергозатраты при выполнении инференса в больших языковых моделях, оценив потребление энергии на генерацию текста. Работа подчеркивает прямую зависимость между количеством параметров модели, сложностью запроса и объемом потребляемого электричества. Полученные данные позволяют точнее прогнозировать углеродный след и операционные расходы при масштабировании ИИ-систем в облачных и локальных инфраструктурах. Hacker News · Машинное обучение Анализ эффективности методов сжатия токенов в LLM Исследование методов оптимизации токенов при работе с моделями семейства Codex показало отсутствие значимого прироста эффективности. Автор протестировал пять популярных подходов к сжатию данных, включая удаление пробелов и сокращение синтаксических конструкций, однако ни один из них не обеспечил стабильного снижения затрат без потери качества ответов или нарушения логики выполнения кода. Hacker News · Исследования и наука Метод Keep It Real для сокращения объема ответов LLM Исследователи представили метод Keep It Real (KIR), направленный на повышение лаконичности диалогов с большими языковыми моделями. Подход использует схему отложенного вывода (schema-level deferral), позволяя модели пропускать предсказуемые или избыточные части ответов, которые пользователь может легко восстановить самостоятельно. Это снижает количество генерируемых токенов без потери смысловой полноты и качества взаимодействия. Hacker News · Исследования и наука Метод dot tokens для улучшения многошаговых рассуждений в LLM Исследователи предложили новый метод повышения эффективности логических рассуждений LLM через использование «точечных токенов» (dot tokens). Техника позволяет модели выполнять дополнительные скрытые вычисления в процессе генерации, не увеличивая при этом количество параметров. Это дает возможность разбивать сложные задачи на промежуточные этапы, улучшая качество ответов в многошаговых сценариях без необходимости дообучения всей архитектуры. Hacker News · Инференс и железо Ускорение LLM через разреженное внимание и конечные автоматы Исследователи представили новый метод ускорения работы больших языковых моделей, основанный на использовании разреженного внимания (Sparse Attention) в сочетании с архитектурой конечных автоматов с постоянным состоянием. Этот подход позволяет значительно сократить вычислительные затраты при инференсе, сохраняя при этом точность генерации текста, что критически важно для развертывания тяжелых моделей на ограниченных аппаратных ресурсах.

← Все материалы