arXiv · 10.07.2026 ·Инференс и железо

Энергопотребление VLM на периферийных устройствах: визуальные токены не главная проблема

Исследователи провели системный анализ энергопотребления мультимодальных моделей (VLM) на граничных устройствах, опровергнув устоявшееся мнение о том, что обработка визуальных данных является основным источником затрат энергии. Выяснилось, что при инференсе на edge-железе генерация текста потребляет значительно больше ресурсов, чем визуальный энкодер, что требует пересмотра стратегий оптимизации для автономных ИИ-систем и робототехники.

Традиционные подходы к повышению эффективности VLM фокусировались на сокращении количества визуальных токенов, исходя из предположения, что именно обработка изображений создает наибольшую нагрузку на аппаратное обеспечение. Однако профилирование показало, что при работе на мобильных чипах и встраиваемых системах основной «энергетический барьер» смещается в сторону декодера, отвечающего за генерацию текстового вывода. Это открытие меняет вектор разработки для встроенных систем, где энергоэффективность является критическим фактором.

Результаты исследования подчеркивают необходимость оптимизации именно языковой составляющей моделей для снижения общего энергопотребления. Это особенно важно для воплощенного ИИ (embodied AI), работающего от аккумуляторов, где каждый ватт влияет на время автономной работы и тепловой режим устройства. Перенос фокуса с визуальных токенов на эффективность генерации позволит создавать более долговечные и производительные решения для периферийных вычислений.

Ключевые факты

Исследование опровергает гипотезу о том, что визуальный энкодер является главным потребителем энергии в VLM.
Установлено, что генерация текста (декодирование) требует значительно больше энергии на edge-устройствах, чем обработка визуальных данных.
Анализ проведен для систем с ограниченными ресурсами, типичных для робототехники и автономных устройств.
Работа предлагает пересмотреть текущие методы оптимизации VLM, сместив акцент с визуальных токенов на языковую часть модели.
Полученные данные критически важны для проектирования энергоэффективных архитектур в области воплощенного ИИ.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Энергоэффективность LLM: сколько электричества потребляет инференс Исследователи проанализировали энергозатраты при выполнении инференса в больших языковых моделях, оценив потребление энергии на генерацию текста. Работа подчеркивает прямую зависимость между количеством параметров модели, сложностью запроса и объемом потребляемого электричества. Полученные данные позволяют точнее прогнозировать углеродный след и операционные расходы при масштабировании ИИ-систем в облачных и локальных инфраструктурах. arXiv · Оценка и бенчмарки Исследование устойчивости VLM к визуальным искажениям при распознавании текста Исследователи проанализировали устойчивость мультимодальных моделей (VLM) к деградации изображений при выполнении задач OCR-рассуждений. Работа выявила, что даже незначительные визуальные помехи существенно снижают точность распознавания и логических выводов моделей. Авторы представили методологию оценки, позволяющую измерить влияние структурных искажений и шума на способность нейросетей интерпретировать текст на сложных визуальных данных. Hacker News · Инференс и железо Экономия 67% на инференсе с Ray и vLLM на AMD MI325X Команда Anyscale опубликовала исследование, в котором продемонстрировала значительную экономию на инференсе моделей большого языка. Используя Ray и vLLM на процессорах AMD MI325X, удалось достичь сокращения затрат на 67% за счёт разнесения (disaggregation) префикса и декодирования. Hacker News · Инференс и железо VoltanaLLM: оптимизация энергопотребления при инференсе больших языковых моделей Исследователи представили VoltanaLLM — систему для повышения энергоэффективности при развертывании больших языковых моделей. Решение оптимизирует процесс инференса, снижая потребление электроэнергии без существенной потери точности вычислений. Технология ориентирована на серверные инфраструктуры, где затраты на питание и охлаждение GPU становятся критическим фактором при масштабировании агентных систем и сложных LLM-приложений. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. Hacker News · Исследования и наука Влияние вычислительных ресурсов на оценку производительности LLM Исследователи представили анализ того, как объем вычислительных мощностей, выделяемых на этапе инференса, напрямую влияет на результаты тестирования передовых языковых моделей. В работе рассматривается зависимость между временем обработки запроса, глубиной рассуждений и итоговой точностью ответов в сложных бенчмарках. Авторы подчеркивают, что текущие методы оценки часто не учитывают динамическое масштабирование ресурсов, что приводит к искажению реальных возможностей систем при их развертывании в продакшене. arXiv · Машинное обучение Оптимизация визуальных токенов в VLM через энтропийный анализ Исследователи представили метод Entropy-Aware Dense Visual Token Pruning, направленный на ускорение работы мультимодальных моделей (VLM). Технология решает проблему избыточности визуальных данных, отсекая нерелевантные фрагменты изображений. Новый подход позволяет сохранять критически важные детали при выполнении сложных запросов, устраняя влияние текстового шума на процесс кросс-модального сопоставления и повышая общую эффективность инференса моделей. Hacker News · Машинное обучение Техники оптимизации LLM: от квантования до эффективного инференса Оптимизация больших языковых моделей становится критическим этапом для снижения затрат и повышения скорости работы ИИ-систем. Основные методы включают квантование весов, использование специализированных форматов данных и оптимизацию алгоритмов внимания. Эти подходы позволяют запускать мощные модели на ограниченном железе, сохраняя при этом высокую точность генерации и минимизируя задержки при обработке запросов в реальном времени. arXiv · Исследования и наука Генеративные модели на аналоговом железе: новый подход к энергоэффективности Исследователи представили метод адаптации генеративных моделей для работы на аналоговых вычислительных платформах, таких как связанные осцилляторы и машины Изинга. Решение преодолевает фундаментальный разрыв между гибкой программной динамикой нейросетей и жесткими физическими законами аналогового оборудования, позволяя выполнять сложные вычисления с кратно меньшими затратами энергии по сравнению с традиционными цифровыми чипами. Hacker News · Машинное обучение Оптимизация LLM для ускорения генерации программного кода Исследователи представили методы оптимизации языковых моделей, направленные на повышение скорости генерации программного кода. Основная проблема при работе с кодом заключается в высокой вычислительной сложности инференса, так как структура синтаксиса требует точного предсказания длинных последовательностей токенов. Авторы работы анализируют влияние различных архитектурных решений на задержку (latency) и пропускную способность при выполнении задач программирования.

← Все материалы