Инференс и железо
Прогноз локального инференса моделей к 2026 году
К 2026 году локальный инференс моделей может стать значительно доступнее и мощнее. По данным анализа, к этому времени модели размером до 100 миллиардов параметров смогут работать на потребительских устройствах, включая ноутбуки и смартфоны. Это станет возможным благодаря развитию аппаратного обеспечения, оптимизации алгоритмов и появлению новых архитектур, которые снижают требования к вычислительным ресурсам.
FlashAttention-4 ускоряет инференс моделей
Команда Modal выпустила обновлённую версию FlashAttention-4, которая значительно ускоряет инференс трансформеров. Это особенно важно для агентов, работающих с большими языковыми моделями, где скорость обработки запросов напрямую влияет на пользовательский опыт.
Как запускать ИИ-провайдера за $6 в месяц на 4x RTX 3090
Разработчик поделился своим опытом запуска ИИ-провайдера с ограниченным бюджетом. Он использует четыре видеокарты RTX 3090, что позволяет ему предлагать услуги по доступной цене — всего $6 в месяц. Это решение может быть полезным для тех, кто хочет развернуть собственные модели или тестировать их без значительных затрат.
Почему приватный инференс для агентов всё ещё не приватен
В статье на Cryptography Engineering поднимается важный вопрос: насколько приватным может быть локальный инференс для ИИ-агентов, даже если данные не уходят в облако. Автор, известный криптограф и инженер, рассматривает пример Siri и объясняет, почему даже локальные вычисления могут быть уязвимы.
Llama.cpp: локальный запуск LLM на C/C++
Llama.cpp — это проект, который позволяет запускать большие языковые модели (LLM) локально на устройствах с ограниченными ресурсами. Разработанный на C/C++, он обеспечивает высокую производительность и эффективность, что делает его привлекательным для разработчиков, работающих с ИИ-агентами.
Pyodide 314.0: публикация WASM-пакетов на PyPI для локального запуска
В новой версии Pyodide 314.0 появилась возможность публиковать Python-пакеты, собранные для Pyodide или других совместимых рантаймов, напрямую на PyPI. Это значительный шаг вперёд, так как ранее поддерживать, собирать и хостить более 300 пакетов приходилось самим разработчикам Pyodide. Теперь пакеты можно устанавливать в рантайме, что упрощает интеграцию и использование Python-библиотек в веб-приложениях.
Luau-wasm 0.1a0: Lua в WebAssembly для Pyodide
Вышел первый релиз luau-wasm 0.1a0 — это компилятор Lua в WebAssembly (WASM), который позволяет запускать Lua-код в браузере или в Pyodide — Python-среде, работающей в браузере. Pyodide уже используется для запуска Python-кода в браузере, а теперь с luau-wasm можно запускать и Lua-скрипты.
Slopsome — калькулятор VRAM и база токенов в секунду для локальных моделей
Slopsome — это инструмент, который помогает оценить, какие локальные модели можно запустить на вашем оборудовании. Он учитывает объём VRAM и скорость обработки токенов в секунду (tok/s), что критически важно для выбора оптимальной модели для инференса.
Разделение модели на микроконтроллеры для инференса
Инженеры из команды Harmansingh4163-ai представили проект, в котором удалось развернуть модель с 42 миллионами параметров на четыре микроконтроллера ESP-32-S3. Это достижение демонстрирует, что даже на ограниченных ресурсах можно выполнять инференс относительно крупных моделей, что открывает новые возможности для разработки ИИ-агентов в условиях жестких аппаратных ограничений.
Snapcompact: компактный инференс моделей локально и бесплатно
Команда Can.AI представила Snapcompact — новый подход к компактификации моделей, который позволяет запускать большие языковые модели локально с минимальными затратами ресурсов. Snapcompact использует инновационные методы компрессии, которые сохраняют точность моделей при значительном уменьшении их размера. Это особенно важно для разработчиков ИИ-агентов, так как позволяет развертывать сложные модели на устройствах с ограниченными ресурсами, включая ноутбуки и мобильные устройства.
Реализация архитектуры Transformer на уровне RTL для FPGA
Проект gateGPT демонстрирует возможность переноса архитектуры трансформеров непосредственно на аппаратный уровень с использованием языка описания аппаратуры (RTL). Разработчикам удалось реализовать полноценную модель на базе FPGA Virtex-5, что позволяет выполнять вычисления без участия центрального процессора или специализированных GPU-ускорителей.
Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU
Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате.
MiniMax M3 и NVIDIA для агентных workflows с длинным контекстом
NVIDIA и MiniMax представили решение для развёртывания агентных workflows с поддержкой длинного контекста. Это важно для разработчиков, которым приходится собирать фрагментированные пайплайны из разных моделей для текста, изображения и других задач.
Адаптивная компрессия токенов для временных рядов в LLM
Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия.
Оптимизация MLP в PyTorch для ускорения инференса
В новом посте на Hugging Face продолжается серия о профилировании и оптимизации PyTorch, на этот раз с акцентом на слияние слоёв в многослойных перцептронах (MLP). Авторы делятся подходами к ускорению вычислений, которые могут быть критичны для локального инференса моделей, особенно в условиях ограниченных ресурсов.
Оптимизация инференса DiffusionGemma на графических процессорах NVIDIA
NVIDIA представила рекомендации по запуску модели DiffusionGemma, направленные на повышение производительности генерации текста в реальном времени. Основной акцент сделан на устранении задержек при посимвольном выводе, что критически важно для работы чат-ботов, копайлотов и сложных агентных систем. Использование специализированных библиотек и методов оптимизации позволяет значительно увеличить пропускную способность инференса на аппаратном обеспечении компании.
GitHub Copilot CLI получает поддержку LSP для интеллектуального анализа кода
GitHub Copilot CLI теперь поддерживает интеграцию с серверами Language Server Protocol (LSP). Это позволяет заменить примитивные методы поиска и декомпиляции кода на более точный анализ с использованием интеллектуальных инструментов.
llm 0.32a3: новый релиз с поддержкой Claude Fable 5
Вышел новый релиз llm 0.32a3, который включает поддержку модели Claude Fable 5 от Anthropic. Это значительное обновление, так как llm — это фреймворк для локального запуска больших языковых моделей, что делает его потенциально полезным для разработки ИИ-агентов, таких как Jarv.
Альтернативы CUDA и OpenCL для инференса ИИ
Компания Modular, специализирующаяся на разработке инфраструктуры для ИИ, выпустила пятую часть своего исследования, посвящённую демократизации вычислительных ресурсов для ИИ. В этом материале рассматриваются альтернативы CUDA и OpenCL, которые могут быть полезны для разработчиков ИИ-агентов, особенно в условиях ограниченного доступа к специализированному железу.
Квантование моделей для ускоренного инференса на NVIDIA TensorRT
NVIDIA представила новый подход к квантованию моделей, позволяющий превращать FP8-чекпоинты в высокопроизводительные инференс-движки с использованием TensorRT. Этот метод оптимизирует модели для работы на графических процессорах, что особенно важно для разработчиков ИИ-агентов, где скорость и эффективность вычислений играют ключевую роль.
Ускорение обучения моделей с JAX и MaxText на NVIDIA Blackwell
NVIDIA представила новый подход к ускорению обучения больших языковых моделей (LLM) с использованием фреймворка JAX и библиотеки MaxText на платформе NVIDIA Blackwell. Основное внимание уделено увеличению пропускной способности, что критически важно при обучении моделей на триллионах токенов и тысячах ускорителей.
Apple открыла репозиторий с инструментами для локального ИИ
Apple выпустила открытый репозиторий coreai-models на GitHub, который содержит рецепты экспорта моделей, Python-примитивы и утилиты для работы с ИИ на устройствах. Это значимый шаг, так как Apple активно продвигает локальные вычисления для ИИ, что особенно важно для разработчиков, работающих над автономными агентами.
ZML: фреймворк для локального запуска моделей
ZML (Zero to Metal) — это фреймворк, который позволяет запускать большие языковые модели на локальных устройствах, включая ноутбуки и серверы. Он оптимизирован для работы с ограниченными ресурсами, что делает его полезным для разработчиков, которые хотят развернуть модели без облачных сервисов.
MicroPython и WASM для безопасного выполнения кода в Datasette Agent
Разработчик Simon Willison представил новый подход к безопасному выполнению Python-кода в песочнице, используя MicroPython и WebAssembly (WASM). Его решение, реализованное в виде пакета micropython-wasm, позволяет запускать код в изолированной среде, что критически важно для агентов, работающих с пользовательскими скриптами.