MarkTechPost · 23.07.2026 ·Инфраструктура для агентов

Gigatoken: высокопроизводительный BPE-токенизатор на Rust

Представлен Gigatoken — новый BPE-токенизатор с открытым исходным кодом, написанный на языке Rust. Инструмент демонстрирует рекордную скорость обработки текста до 24,53 ГБ/с, что значительно превосходит существующие аналоги, включая решения от HuggingFace и tiktoken. Высокая производительность достигается за счет оптимизированного претокенизатора и системы кэширования, что критически важно для ускорения работы LLM-конвейеров.

Основное преимущество Gigatoken заключается в использовании техники SWAR (SIMD Within A Register) для предварительной обработки данных. В отличие от стандартных подходов, которые фокусируются исключительно на ускорении цикла слияния BPE, разработчики Gigatoken оптимизировали этап подготовки текста, который часто становится «узким местом» при работе с большими объемами данных. Это позволяет эффективно использовать многоядерные серверные процессоры для подготовки токенов в реальном времени.

Инструмент распространяется по лицензии MIT и ориентирован на высоконагруженные системы, где задержки при токенизации ограничивают общую пропускную способность инференса. Благодаря своей архитектуре, Gigatoken может быть интегрирован в существующие пайплайны обработки данных, обеспечивая кратное ускорение подготовки входных последовательностей для нейросетей.

Ключевые факты

Скорость обработки достигает 24,53 ГБ/с на 144-ядерном процессоре AMD EPYC 9565.
Производительность в 989 раз выше, чем у стандартных токенизаторов HuggingFace.
Превышение скорости работы tiktoken составляет 681 раз.
Оптимизация достигнута за счет написанного вручную SWAR-претокенизатора и системы кэширования.
Проект распространяется под лицензией MIT.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов GigaToken: ускорение токенизации языковых моделей в 1000 раз Проект GigaToken предлагает радикально оптимизированный подход к токенизации текста, обеспечивая ускорение процесса в 1000 раз по сравнению со стандартными реализациями. Инструмент ориентирован на устранение «узкого горлышка» при подготовке данных для LLM, позволяя значительно сократить задержки на этапе препроцессинга и повысить общую пропускную способность систем инференса при работе с большими объемами текстовых данных. Hacker News · Инференс и железо GateGPT: 56k токенов в секунду на FPGA Исследователи представили GateGPT — решение для ускоренного инференса трансформеров на FPGA. Система достигает скорости 56 000 токенов в секунду при частоте 80 МГц, используя кеш ключ-значение (KV cache). Это открывает новые возможности для развертывания больших языковых моделей на специализированном оборудовании. Hacker News · Модели и релизы Анализ производительности и стоимости модели GPT-5.5 Instant Аналитический ресурс Artificial Analysis представил подробный разбор характеристик модели GPT-5.5 Instant, выпущенной в июне 2026 года. Исследование охватывает ключевые показатели эффективности, включая скорость генерации токенов, качество логических выводов и экономическую целесообразность использования модели в сравнении с предыдущими версиями и конкурентными решениями на рынке высокопроизводительных LLM. The latest research from Google · Инференс и железо Ускорение Gemini Nano на смартфонах Pixel через Multi-Token Prediction Google представила метод оптимизации инференса для моделей Gemini Nano, работающих локально на устройствах Pixel. Технология Multi-Token Prediction (MTP) позволяет модели предсказывать несколько будущих токенов за один проход, что значительно повышает скорость генерации текста без увеличения требований к вычислительным ресурсам. Это решение критически важно для обеспечения плавного пользовательского опыта в мобильных ИИ-приложениях. Hacker News · Инференс и железо Оптимизация производительности обработки промптов в llama.cpp Исследователь проанализировал влияние механизма Multi-Token Prediction (MTP) на скорость обработки промптов (Prompt Processing Tokens Per Second) в библиотеке llama.cpp. В ходе экспериментов удалось выявить причины деградации производительности при использовании MTP и разработать прототип (PoC), который восстанавливает показатели TPS, сохраняя при этом архитектурные преимущества многотокенового предсказания для LLM. MarkTechPost · Модели и релизы Релиз Grok 4.5: специализированная модель для кодинга и агентных задач Компания SpaceXAI представила Grok 4.5 — новую языковую модель, оптимизированную для программирования, выполнения агентных задач и интеллектуальной работы. Модель прошла обучение на данных редактора Cursor, что позволило ей достичь высокой производительности в написании кода. При стоимости 2 доллара за миллион входных токенов она демонстрирует скорость генерации 80 токенов в секунду и лидирующие позиции в специализированных бенчмарках. Hacker News · Инференс и железо JetSpec ускоряет инференс LLM до 9.64 раз с помощью параллельного древовидного декодирования Исследователи представили JetSpec — новый метод оптимизации инференса больших языковых моделей, использующий параллельное древовидное декодирование. Технология позволяет достичь ускорения до 9.64 раз при сохранении точности генерации. В пиковых нагрузках система демонстрирует производительность до 1000 токенов в секунду (TPS), что значительно превосходит стандартные подходы к генерации текста. GitHub · Разработка и инструменты Инструмент Token Diet для оптимизации затрат в ИИ-агентах Проект Token Diet представляет собой специализированный механизм для снижения потребления токенов при работе с популярными ИИ-агентами для программирования. Инструмент оптимизирует контекстные запросы в таких средах, как Claude Code, Cursor и Windsurf, позволяя сократить расходы на API в среднем на 31% без потери точности и качества генерируемого программного кода. Hacker News · Разработка и инструменты Оптимизация токенов в Claude Code: сокращение затрат до 90% Инструмент TokenOptimization позволяет значительно снизить потребление токенов при работе с Claude Code, сокращая их количество на 40–90%. Решение направлено на оптимизацию контекстного окна и уменьшение избыточности данных, передаваемых в LLM. Это позволяет разработчикам существенно экономить на стоимости API-запросов и ускорять обработку кода без потери качества агентских операций. Hacker News · Инференс и железо DeepSeek представила методы оптимизации инференса с ускорением до 85% Компания DeepSeek опубликовала техническую документацию по методам оптимизации инференса, позволяющим ускорить генерацию текста на 60–85%. Разработка фокусируется на снижении задержек при работе с большими языковыми моделями за счет эффективного управления вычислительными ресурсами и оптимизации алгоритмов обработки токенов, что критически важно для масштабируемых агентных систем и высоконагруженных сервисов.

← Все материалы