Hacker News · 16.06.2026 ·Инференс и железо

Tokdiet: прокси для локального запуска LLM с экономией токенов

Разработчики представили Tokdiet — прокси-сервер для локального запуска языковых моделей, который сокращает расход токенов на 70% без потери качества. Решение работает как промежуточный слой между пользователем и моделью, оптимизируя запросы и уменьшая объём передаваемых данных.

Tokdiet поддерживает популярные модели, включая Mistral и Llama, и совместим с различными фреймворками. Проект открыт для внесения изменений и доступен на GitHub. Разработчики отмечают, что решение может значительно снизить затраты на инференс, особенно при работе с большими моделями.

Прокси-сервер использует алгоритмы сжатия и оптимизации, которые позволяют уменьшить нагрузку на вычислительные ресурсы без ухудшения качества ответов. Это делает его полезным инструментом для разработчиков, которые хотят снизить затраты на использование языковых моделей.

Tokdiet может быть полезен как для локального использования, так и для интеграции в облачные сервисы. Разработчики планируют дальнейшее развитие проекта, включая добавление поддержки новых моделей и улучшение алгоритмов оптимизации.

Источник: Hacker News

Похожие материалы

Hacker News · Инференс и железо Sors: прокси на Rust для оптимизации кэша vLLM Разработчики представили Sors — прокси-сервер на Rust, который переупорядочивает запросы к моделям, чтобы максимизировать использование префиксного кэша vLLM. Это позволяет ускорить обработку запросов и снизить нагрузку на вычислительные ресурсы. Hacker News · Модели и релизы Локальный запуск моделей стал реальностью В последнее время локальный запуск больших языковых моделей (LLM) стал значительно проще и доступнее. Это связано с развитием технологий, которые позволяют запускать мощные модели даже на обычных ноутбуках. Например, модели вроде GPT-4 или Llama 2 теперь можно развернуть локально с помощью таких фреймворков, как Ollama или LM Studio. Это открывает новые возможности для разработчиков, которые хотят создавать ИИ-агенты с минимальными затратами на инфраструктуру. Hacker News · Модели и релизы Локальные модели для кодинга вместо Claude/GPT На Hacker News обсуждают возможность замены облачных моделей, таких как Claude и GPT, на локальные аналоги для ежедневной работы с кодом. Пользователи делятся опытом использования локальных моделей, таких как Code Llama, Starcoder и другие, которые могут работать на собственных серверах или мощных ноутбуках. Hacker News · Бизнес и инвестиции HashMeterAi – счётчик токенов для локальных моделей Разработчики из Hash-7777 представили HashMeterAi – инструмент для мониторинга использования токенов в локальных моделях. Это решение позволяет отслеживать расход токенов для любых моделей, что особенно важно для разработчиков ИИ-агентов, работающих с локальными развёртываниями. Hacker News · Инфраструктура для агентов SillyTavern объединяет API разных LLM в один интерфейс SillyTavern — это открытый проект, который предоставляет единый интерфейс для работы с API различных языковых моделей. Это позволяет разработчикам и пользователям взаимодействовать с разными LLM через одну платформу, упрощая интеграцию и управление моделями. Hacker News · Инференс и железо Slopsome — калькулятор VRAM и база токенов в секунду для локальных моделей Slopsome — это инструмент, который помогает оценить, какие локальные модели можно запустить на вашем оборудовании. Он учитывает объём VRAM и скорость обработки токенов в секунду (tok/s), что критически важно для выбора оптимальной модели для инференса. Mistral AI Blog · Инференс и железо Mistral Compute: инфраструктура для локального запуска моделей Mistral AI представила Mistral Compute — инфраструктуру для локального запуска больших языковых моделей. Решение позволяет развернуть модели на собственных серверах или в облаке, обеспечивая контроль над данными и снижая зависимость от сторонних сервисов. arXiv · Инференс и железо Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. Lobsters · Инференс и железо ThunderKittens: компактный DSL для высокопроизводительных AI-ядер ThunderKittens — это компактный домен-специфический язык (DSL), разработанный для создания высокопроизводительных AI-ядер. Он позволяет оптимизировать вычисления, необходимые для инференса моделей искусственного интеллекта, что особенно важно для локального запуска и работы с ограниченными ресурсами. Язык ориентирован на эффективность и простоту, что делает его полезным инструментом для разработчиков, стремящихся к максимальной производительности. Lobsters · Инференс и железо TurboQuant ускоряет инференс моделей на 30% без потери точности Команда Baseten представила TurboQuant — метод оптимизации инференса, который ускоряет работу моделей на 30% без потери точности. Разработчики провели 31 час на математических выкладках, чтобы создать алгоритм, который автоматически выбирает оптимальные параметры квантования для различных моделей. Это особенно важно для агентов, где скорость обработки запросов напрямую влияет на пользовательский опыт.

← Все материалы