Hacker News · 16.06.2026 ·Инфраструктура для агентов

Ускорение генерации кода TVM с помощью кэширования графов задач

Исследователи предложили новый метод ускорения генерации кода в TVM — популярном фреймворке для компиляции и оптимизации моделей машинного обучения. В основе метода лежит кэширование графов задач, что позволяет значительно сократить время компиляции.

TVM широко используется для развертывания моделей ИИ на различных устройствах, включая мобильные и встраиваемые системы. Кэширование графов задач позволяет избежать повторных вычислений при генерации кода, что особенно важно для сложных моделей.

Исследование показало, что предложенный метод может ускорить процесс генерации кода на 30-50% по сравнению с традиционными подходами. Это открывает новые возможности для оптимизации работы с моделями ИИ в реальных условиях.

Работа была представлена на конференции ACM и получила положительные отзывы от сообщества. Авторы планируют дальнейшее развитие метода для интеграции с другими фреймворками и инструментами.

Источник: Hacker News

Похожие материалы

Hacker News · Инференс и железо Новый фреймворк для JIT-компиляции ускоряет работу ИИ-моделей Исследователи представили новый фреймворк для JIT-компиляции, который может значительно ускорить выполнение ИИ-моделей. Система использует многоуровневую JIT-компиляцию в рамках мета-трейсинга, что позволяет оптимизировать код на лету и повышать производительность. Hacker News · Другое Компиляция алгоритмов матричного умножения в быстрые CUDA-ядра Исследователи представили новый подход к компиляции алгоритмов матричного умножения, основанных на методе Штрассена, в эффективные CUDA-ядра. Это позволяет значительно ускорить вычисления, что особенно важно для задач, связанных с обработкой больших матриц в ИИ-агентах. arXiv · Инфраструктура для агентов Новый метод декодирования для ускорения работы ИИ-агентов Исследователи из MIT и Google Research предложили новый подход к декодированию в языковых моделях, который может значительно ускорить работу ИИ-агентов. В статье, опубликованной на arXiv, они представляют метод Mean-Field Parallel Decoding, который позволяет генерировать токены параллельно, минимизируя задержки. arXiv · Модели и релизы Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода. Hacker News · Машинное обучение Новый метод параллельных вычислений на GPU для ИИ Исследователи представили новый подход к параллельным вычислениям на графических процессорах, который может значительно ускорить обучение и инференс нейросетей. В статье, опубликованной на arXiv, авторы предлагают метод, позволяющий избежать традиционных проблем с синхронизацией и конкуренцией за ресурсы. Replicate's blog · Инференс и железо Torch compile caching для ускорения инференса Компания Replicate представила технологию Torch compile caching, которая позволяет кэшировать скомпилированные модели для ускорения времени загрузки и выполнения инференса. Это решение особенно полезно для пользователей, работающих с большими моделями, так как значительно сокращает время запуска и обработки запросов. arXiv · Инференс и железо Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. Hacker News · Память и RAG Lifting E-Graphs: новый подход к рефакторингу кода Исследователи представили концепцию Lifting E-Graphs, которая предлагает новый способ оптимизации и рефакторинга кода. Этот метод позволяет автоматически находить и применять оптимизации, которые вручную могли бы занять много времени и усилий. Lifting E-Graphs использует графы выражений (e-graphs) для представления и манипуляции кодом, что делает процесс рефакторинга более эффективным и менее подверженным ошибкам. Hacker News · Машинное обучение Новый подход к законам масштабирования может изменить обучение ИИ-моделей Исследователи из Стэнфордского университета предложили новый подход к законам масштабирования, который может существенно повлиять на процесс обучения искусственных нейронных сетей. Традиционные законы масштабирования описывают, как увеличение размера модели и объёма данных влияет на её производительность. Однако новый метод позволяет более точно предсказывать, как изменения в архитектуре модели и данных повлияют на её точность и эффективность. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате.

← Все материалы