arXiv · 22.07.2026 ·Инфраструктура для агентов

PyroDash: оптимизация стоимости инференса через коллаборацию SLM и LLM

Исследователи представили PyroDash — фреймворк для совместного инференса малых (SLM) и больших (LLM) языковых моделей на уровне токенов. Система использует SLM как основной движок, который динамически запрашивает помощь LLM только для сложных фрагментов текста через специальные контрольные токены. Такой подход позволяет значительно снизить затраты на вычислительные ресурсы, сохраняя при этом высокую точность генерации, характерную для крупных моделей.

Архитектура PyroDash решает проблему избыточных затрат при использовании мощных моделей для простых задач. В процессе генерации SLM анализирует контекст и принимает решение о необходимости привлечения LLM. Если модель определяет, что текущий токен требует глубокого рассуждения, система переключается на более мощный ресурс. Это позволяет оптимизировать задержку и стоимость обслуживания, избегая неоправданного использования дорогих API или GPU-кластеров для рутинных операций.

Метод опирается на обучение SLM распознаванию моментов, когда её собственных способностей недостаточно для корректного продолжения последовательности. Интеграция такого механизма в производственные пайплайны позволяет гибко балансировать между качеством ответов и операционными расходами, что критически важно для масштабируемых агентных систем и сервисов с высокой нагрузкой.

Ключевые факты

PyroDash реализует динамическое переключение между SLM и LLM на уровне генерации отдельных токенов.
SLM выступает в роли «контроллера», который генерирует специальный токен для активации помощи со стороны более крупной модели.
Фреймворк направлен на снижение общей стоимости инференса при сохранении качества ответов на уровне полноценных LLM.
Метод позволяет сократить количество вычислительных операций, необходимых для обработки сложных запросов, за счет делегирования простых задач более легким моделям.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов Оптимизация затрат на LLM через динамическую маршрутизацию запросов Разработан инструмент для автоматической маршрутизации запросов к языковым моделям на основе их стоимости и производительности. Система анализирует входящий промпт и выбирает наиболее экономически эффективную модель, способную справиться с конкретной задачей. Решение интегрируется с библиотеками PydanticAI и LiteLLM, что позволяет разработчикам внедрять логику выбора провайдера непосредственно в пайплайны обработки данных. Hacker News · Инфраструктура для агентов Снижение затрат на LLM через динамическую маршрутизацию запросов Новый подход к оптимизации расходов на LLM позволяет сократить затраты на 50% за счет внедрения системы «лучшего исполнения» (Best-Execution). Метод заключается в интеллектуальной маршрутизации запросов между моделями разного уровня сложности в зависимости от задачи. Это позволяет использовать более дешевые и быстрые модели для простых операций, сохраняя высокую точность при работе с комплексными запросами. arXiv · Инференс и железо AdaFlash: ускорение инференса LLM через адаптивное спекулятивное декодирование Исследователи представили AdaFlash — новый метод ускорения инференса больших языковых моделей, использующий адаптивное спекулятивное декодирование. В основе подхода лежит применение диффузионных моделей в качестве «черновиков» (drafters), которые генерируют последовательности токенов параллельно. Метод оптимизирует процесс верификации целевой моделью, значительно снижая задержки при генерации текста без потери качества ответов по сравнению со стандартными методами. Hacker News · Инференс и железо Запуск LLM через минималистичный Python CLI с помощью Flama Команда Flama представила инструмент командной строки для упрощенного развертывания больших языковых моделей. Решение позволяет запускать инференс LLM с минимальными настройками, минимизируя количество зависимостей и конфигурационных файлов. Инструмент ориентирован на разработчиков, которым требуется быстрый способ организации API для локальных или облачных моделей без использования тяжеловесных фреймворков и сложных систем оркестрации. Hacker News · Инфраструктура для агентов LLM-d: распределенный инференс больших языковых моделей Проект LLM-d предлагает архитектурное решение для распределенного запуска LLM, позволяя объединять вычислительные мощности нескольких узлов для инференса моделей, которые не помещаются в память одного GPU. Система использует механизм разделения весов модели между участниками сети, что снижает требования к локальному «железу» и позволяет запускать тяжелые архитектуры на потребительском оборудовании. Hacker News · Инфраструктура для агентов Switchboard: динамическая маршрутизация промптов для оптимизации затрат на LLM Switchboard — это инструмент для управления запросами к языковым моделям, который позволяет динамически перенаправлять промпты между различными LLM в реальном времени. Вместо жесткого ограничения бюджета система анализирует входящие задачи и распределяет их по моделям с оптимальным соотношением цены и качества, обеспечивая непрерывную работу агентных систем без прерывания из-за лимитов API. Hacker News · Инференс и железо DSpark: ускорение генерации LLM через спекулятивное декодирование DSpark — это метод оптимизации инференса больших языковых моделей, использующий технику спекулятивного декодирования для повышения скорости генерации текста. Подход позволяет модели-черновику быстро предлагать последовательности токенов, которые затем параллельно проверяются основной моделью. Это значительно сокращает время ожидания ответа, сохраняя при этом точность, соответствующую оригинальной архитектуре, что критически важно для высоконагруженных агентных систем. Hacker News · Инфраструктура для агентов Инструмент для прогнозирования расходов на LLM до масштабирования Разработчики представили инструмент для предиктивного анализа затрат на использование больших языковых моделей. Решение позволяет оценить потенциальные расходы на инференс до запуска системы в продакшн, предотвращая неконтролируемый рост счетов при масштабировании агентных сервисов. Система анализирует архитектуру запросов и частоту вызовов, помогая компаниям защитить маржинальность бизнеса при интеграции ИИ-решений. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. Hacker News · Инфраструктура для агентов DeepSeek представила фреймворк DSpark для ускорения инференса LLM Компания DeepSeek открыла исходный код DSpark — специализированного фреймворка, предназначенного для оптимизации процесса инференса больших языковых моделей. Решение позволяет значительно сократить время генерации ответов, обеспечивая прирост производительности до 85% в определенных сценариях. Инструмент ориентирован на масштабируемые системы, где критически важна скорость работы моделей при высоких нагрузках и работе с длинным контекстом.

← Все материалы