Lobsters · 03.06.2026 ·Оптимизация инференса

RadixAttention в Trellis ускоряет работу моделей на 30%

Команда UnfoldML представила RadixAttention — новую архитектуру внимания для ускорения работы трансформеров. Внедрённая в Trellis, она позволяет сократить время инференса на 30% без потери точности. Это особенно важно для ИИ-агентов, где скорость обработки запросов напрямую влияет на пользовательский опыт.

RadixAttention оптимизирует вычисления в слоях внимания, используя более эффективные алгоритмы. В отличие от традиционных подходов, она минимизирует избыточные операции, сохраняя при этом качество предсказаний. Это делает её перспективной для локального развёртывания моделей, где ресурсы ограничены.

UnfoldML также отмечает, что RadixAttention совместима с существующими фреймворками, что упрощает её интеграцию в существующие системы. Для разработчиков ИИ-агентов это значит возможность быстрого внедрения оптимизации без перестройки инфраструктуры.

Важность этой технологии для Jarv заключается в потенциальном снижении затрат на инференс и увеличении скорости работы агентов. Это особенно актуально для сценариев, где требуется обработка большого числа запросов в реальном времени.

Источник: Lobsters

Похожие материалы

The latest research from Google · Оптимизация моделей для ИИ-агентов Sequential Attention: как ускорить модели без потери точности Исследователи Google предложили новый подход к оптимизации трансформеров — Sequential Attention. Он позволяет значительно сократить вычислительные затраты на инференс, не жертвуя точностью. В основе метода лежит идея последовательного внимания: вместо параллельной обработки всех токенов модель фокусируется на одном токене за раз, используя информацию из предыдущих шагов. Это снижает сложность вычислений с O(n²) до O(n log n), что делает модели более эффективными для локального развертывания и работы в реальном времени. Hacker News · Инференс и оптимизация FlashAttention-4 ускоряет инференс моделей Команда Modal выпустила обновлённую версию FlashAttention-4, которая значительно ускоряет инференс трансформеров. Это особенно важно для агентов, работающих с большими языковыми моделями, где скорость обработки запросов напрямую влияет на пользовательский опыт. Hacker News · Архитектура ИИ-агентов Meta-Attention: новый подход к архитектуре нейросетей Исследователи предложили концепцию Meta-Attention, которая может стать важным шагом в развитии архитектур нейросетей. В отличие от традиционного механизма внимания, который фокусируется на конкретных элементах данных, Meta-Attention позволяет модели динамически адаптировать свои параметры внимания в зависимости от контекста. Это может значительно улучшить способность моделей обрабатывать сложные и разнообразные задачи, что особенно важно для ИИ-агентов, которым требуется гибкость и адаптивность. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. arXiv · Интерпретируемость ИИ-агентов LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки. Hugging Face - Blog · Инференс и железо Синхронизация дельта-весов для запуска гигантских моделей Команда Hugging Face представила новую технологию Delta Weight Sync в TRL (Transformers Reinforcement Learning), которая позволяет эффективно синхронизировать веса моделей с триллионами параметров. Это особенно важно для локального запуска крупных моделей, где традиционные методы требуют значительных вычислительных ресурсов. NVIDIA Technical Blog · Инференс и железо Ускорение обучения моделей с JAX и MaxText на NVIDIA Blackwell NVIDIA представила новый подход к ускорению обучения больших языковых моделей (LLM) с использованием фреймворка JAX и библиотеки MaxText на платформе NVIDIA Blackwell. Основное внимание уделено увеличению пропускной способности, что критически важно при обучении моделей на триллионах токенов и тысячах ускорителей. arXiv · Оптимизация токенизации для временных рядов Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. NVIDIA Technical Blog · Инференс и железо Квантование моделей для ускоренного инференса на NVIDIA TensorRT NVIDIA представила новый подход к квантованию моделей, позволяющий превращать FP8-чекпоинты в высокопроизводительные инференс-движки с использованием TensorRT. Этот метод оптимизирует модели для работы на графических процессорах, что особенно важно для разработчиков ИИ-агентов, где скорость и эффективность вычислений играют ключевую роль. arXiv · Оптимизация моделей для ИИ-агентов Persona-Pruner: как облегчить ИИ-агентов для ролевых игр Исследователи из MIT и других университетов представили Persona-Pruner — метод оптимизации языковых моделей для ролевых взаимодействий. Технология позволяет значительно сократить размер моделей, сохраняя их способность к ролевой игре. Это особенно важно для систем с множеством NPC (неигровых персонажей), где вычислительные затраты становятся критическими.

← Все материалы