Hacker News · 13.06.2026 ·Инференс и железо

Slopsome — калькулятор VRAM и база токенов в секунду для локальных моделей

Slopsome — это инструмент, который помогает оценить, какие локальные модели можно запустить на вашем оборудовании. Он учитывает объём VRAM и скорость обработки токенов в секунду (tok/s), что критически важно для выбора оптимальной модели для инференса.

Калькулятор позволяет ввести параметры вашего GPU и получить список моделей, которые можно запустить на вашем оборудовании. Это особенно полезно для разработчиков ИИ-агентов, которые хотят оптимизировать использование ресурсов и выбрать модель, которая будет работать эффективно на их железе.

База данных токенов в секунду (tok/s) позволяет сравнить скорость работы различных моделей. Это важный параметр, так как он напрямую влияет на производительность и отзывчивость ИИ-агента. Slopsome предоставляет данные по множеству моделей, что позволяет сделать осознанный выбор.

Инструмент может быть полезен не только для разработчиков, но и для пользователей, которые хотят запускать локальные модели на своих устройствах. Он помогает избежать ошибок при выборе модели и оптимизировать использование ресурсов, что особенно важно для локального инференса.

Источник: Hacker News

Похожие материалы

Hacker News · Биллинг для ИИ-агентов HashMeterAi – счётчик токенов для локальных моделей Разработчики из Hash-7777 представили HashMeterAi – инструмент для мониторинга использования токенов в локальных моделях. Это решение позволяет отслеживать расход токенов для любых моделей, что особенно важно для разработчиков ИИ-агентов, работающих с локальными развёртываниями. NVIDIA Technical Blog · Инференс и оптимизация DynoSim: инструмент для оптимизации развёртывания LLM NVIDIA представила DynoSim — инструмент для моделирования и оптимизации развёртывания больших языковых моделей (LLM). Основная проблема при развёртывании LLM заключается в необходимости балансировать множество параметров: выбор бэкенда модели, конфигурацию тензорного параллелизма, распределение между префиллом и декодированием, количество рабочих процессов и многое другое. DynoSim позволяет автоматически исследовать комбинации этих параметров и находить оптимальные конфигурации для конкретных сценариев использования. NVIDIA Technical Blog · Инференс и железо Квантование моделей для ускоренного инференса на NVIDIA TensorRT NVIDIA представила новый подход к квантованию моделей, позволяющий превращать FP8-чекпоинты в высокопроизводительные инференс-движки с использованием TensorRT. Этот метод оптимизирует модели для работы на графических процессорах, что особенно важно для разработчиков ИИ-агентов, где скорость и эффективность вычислений играют ключевую роль. GitHub · Инференс и железо Reg-Factory: оптимизация инференса моделей на GPU Репозиторий Reg-Factory от tiantianGPU представляет собой фреймворк для оптимизации инференса моделей на GPU. Проект фокусируется на ускорении работы моделей за счёт применения различных техник, включая квантование и оптимизацию вычислений. Это особенно важно для разработчиков ИИ-агентов, так как позволяет значительно снизить затраты на вычисления и повысить производительность. Hacker News · Инференс и железо Инструмент для профилирования CUDA на Nvidia Команда Polar Signals представила Continuous Nvidia CUDA PC Sampling Profiler — инструмент для профилирования CUDA-приложений на графических процессорах Nvidia. Это решение позволяет в реальном времени отслеживать производительность и эффективность использования GPU, что критически важно для оптимизации работы ИИ-моделей, особенно при инференсе. Lobsters · Оптимизация инференса TurboQuant ускоряет инференс моделей на 30% без потери точности Команда Baseten представила TurboQuant — метод оптимизации инференса, который ускоряет работу моделей на 30% без потери точности. Разработчики провели 31 час на математических выкладках, чтобы создать алгоритм, который автоматически выбирает оптимальные параметры квантования для различных моделей. Это особенно важно для агентов, где скорость обработки запросов напрямую влияет на пользовательский опыт. Hugging Face - Blog · Оценка моделей Olmo-Eval: инструмент для оценки моделей в цикле разработки AllenAI представила Olmo-Eval — инструмент для оценки моделей в процессе их разработки. Это решение позволяет автоматизировать и ускорить процесс тестирования моделей, что особенно важно для создания ИИ-агентов. Olmo-Eval интегрируется в существующие пайплайны разработки и предоставляет детальные метрики производительности моделей. NVIDIA Technical Blog · Инференс и железо Оптимизация инференса на NVIDIA GB200 с Slurm NVIDIA представила подход к оптимизации производительности инференса на своих новых GPU GB200 NVL72 с использованием Slurm — популярного менеджера рабочих процессов. В статье на Developer NVIDIA объясняется, как топологически осознанное планирование задач позволяет максимально использовать мощности современных ускорителей. Lobsters · Инференс и железо Альтернативы CUDA и OpenCL для инференса ИИ Компания Modular, специализирующаяся на разработке инфраструктуры для ИИ, выпустила пятую часть своего исследования, посвящённую демократизации вычислительных ресурсов для ИИ. В этом материале рассматриваются альтернативы CUDA и OpenCL, которые могут быть полезны для разработчиков ИИ-агентов, особенно в условиях ограниченного доступа к специализированному железу. Hacker News · Инференс и железо Qwen 3.6 93B на двух RTX 3090 NVLink: 187 токенов в секунду Команда Augmented Reality Virtual Reality (AR VR) опубликовала результаты тестирования модели Qwen 3.6 93B с использованием MTP (Multi-Query Tensor Parallelism) на конфигурации из двух видеокарт RTX 3090 с NVLink. В результате удалось достичь скорости инференса в 187 токенов в секунду. Это значительное улучшение по сравнению с предыдущими показателями, что делает модель более пригодной для локального использования, включая разработку ИИ-агентов.

← Все материалы