Together.ai · 14.05.2026 ·Инференс и железо

Together AI и Pearl Research Labs снижают стоимость инференса

Together AI и Pearl Research Labs объявили о партнёрстве, направленном на сокращение затрат на инференс. В рамках сотрудничества запущен скидочный инференс-эндпоинт для модели Gemma-4-31B-it-pearl, оптимизированной Pearl Research Labs.

Ключевой особенностью решения стала технология Proof of Useful Work, которая преобразует AI-вычисления в криптовалютные эмиссии. Это позволяет пользователям получать вознаграждение за выполнение полезных вычислений, снижая при этом общие затраты на инференс.

Сотрудничество направлено на создание более доступных и эффективных решений для работы с большими языковыми моделями. Together AI и Pearl Research Labs планируют расширять функциональность и масштабировать проект в будущем.

Технология Proof of Useful Work может стать важным шагом в развитии инференс-инфраструктуры, предлагая пользователям не только снижение затрат, но и дополнительные возможности для монетизации вычислительных ресурсов.

Источник: Together.ai

Похожие материалы

Together.ai · Инференс и железо Как Together AI ускоряет работу моделей на GPU Команда Together AI, известная разработками FlashAttention и ThunderKittens, занимается оптимизацией работы моделей на графических процессорах. Их исследования направлены на сокращение разрыва между возможностями GPU и реальными задачами в производстве ИИ. Together.ai · Инференс и железо Как масштабировать инференс ИИ-моделей эффективно Компания Together.ai опубликовала исследование, посвящённое эффективному масштабированию инференса ИИ-моделей. По мере перехода ИИ из исследовательской фазы в промышленное использование ключевой задачей становится не только создание моделей, но и их эффективная, надёжная и масштабируемая эксплуатация. Hacker News · Инференс и железо Экономия 67% на инференсе с Ray и vLLM на AMD MI325X Команда Anyscale опубликовала исследование, в котором продемонстрировала значительную экономию на инференсе моделей большого языка. Используя Ray и vLLM на процессорах AMD MI325X, удалось достичь сокращения затрат на 67% за счёт разнесения (disaggregation) префикса и декодирования. Together.ai · Инфраструктура для агентов Together AI расширяет сервис файн-тунинга Together AI добавила в свой сервис файн-тунинга поддержку вызовов инструментов, рассуждений и визуально-языковых моделей. Это позволяет пользователям настраивать модели для работы с внешними сервисами, сложными логическими задачами и обработкой изображений. Together.ai · Оркестрация агентов Together AI ускорила инференс моделей в 2.6 раза Together AI представила новую систему оркестрации для запуска кастомных моделей — Dedicated Container Inference. Она обеспечивает ускорение инференса в 1.4–2.6 раза по сравнению с традиционными подходами. Hacker News · Другое Компании сокращают расходы на ИИ из-за роста затрат Компании по всему миру сталкиваются с резким ростом затрат на разработку и внедрение ИИ-решений. По данным The Economist, расходы на обучение и инференс моделей выросли в несколько раз за последние два года, что заставляет даже крупные игроки пересматривать свои бюджеты. Hacker News · Инференс и железо AI inequality: от GPU-poor к token-poor В статье на Substack автор Адриан Роча рассматривает эволюцию неравенства в доступе к ИИ-технологиям. Если раньше основным барьером был доступ к мощным GPU, то теперь ключевым ограничением становятся токены — стоимость вычислений на больших языковых моделях (LLM). Это создает новую форму цифрового разрыва, где даже при наличии вычислительных ресурсов использование ИИ остается недоступным для многих из-за высоких затрат на инференс. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. Together.ai · Инференс и железо Как Together оптимизировал MiniMax-M3 для эффективного инференса Компания Together.ai представила подход к оптимизации работы модели MiniMax-M3, позволяющий эффективно обрабатывать контекст из 1 миллиона токенов и поддерживать мультимодальность. В основе решения лежит использование KV-block-major sparse attention, что позволяет значительно сократить вычислительные затраты при работе с большими контекстами. Hacker News · Инференс и железо Token-saviour снижает расход токенов в агентах на 70% Разработчики ИИ-агентов сталкиваются с проблемой высокого расхода токенов при выборе инструментов. Новый фреймворк Token-saviour предлагает решение, снижая потребление токенов на 70%. Это достигается за счёт умного маршрутизации запросов к инструментам, минимизируя избыточные вызовы и оптимизируя взаимодействие с внешними сервисами.

← Все материалы