Hacker News · 15.06.2026 ·Инференс и железо

Исследователи создали кластеры из старых смартфонов для инференса

Группа исследователей из Университета Ватерлоо (Канада) предложила необычное решение для создания низкобюджетных вычислительных центров: они собрали кластеры из старых смартфонов. По их данным, современные процессоры в смартфонах демонстрируют более высокую производительность в однопоточном режиме по сравнению с аналогичными серверными процессорами. Это открывает новые возможности для развертывания ИИ-моделей на недорогом оборудовании.

Ключевое преимущество такого подхода — доступность и низкая стоимость оборудования. Старые смартфоны можно легко найти или приобрести по низкой цене, что делает решение особенно привлекательным для стартапов и небольших компаний, которые не могут позволить себе дорогостоящие серверные фермы. Кроме того, смартфоны уже оснащены необходимыми компонентами, такими как процессоры, память и аккумуляторы, что упрощает их интеграцию в кластер.

Исследователи отмечают, что кластеры из смартфонов могут быть использованы для выполнения задач, связанных с инференсом ИИ-моделей, таких как обработка естественного языка, компьютерное зрение и другие вычислительно интенсивные задачи. Это особенно актуально для разработчиков ИИ-агентов, которые ищут способы развертывания моделей на локальных устройствах или в небольших дата-центрах.

Проект еще находится на стадии исследования, но уже показывает перспективные результаты. В будущем подобные кластеры могут стать популярным решением для создания низкобюджетных вычислительных платформ, что откроет новые возможности для разработчиков ИИ-агентов и других вычислительных задач.

Источник: Hacker News

Похожие материалы

Hacker News · Инференс и железо Разделение модели на микроконтроллеры для инференса Инженеры из команды Harmansingh4163-ai представили проект, в котором удалось развернуть модель с 42 миллионами параметров на четыре микроконтроллера ESP-32-S3. Это достижение демонстрирует, что даже на ограниченных ресурсах можно выполнять инференс относительно крупных моделей, что открывает новые возможности для разработки ИИ-агентов в условиях жестких аппаратных ограничений. Hacker News · Локальный инференс моделей Прогноз локального инференса моделей к 2026 году К 2026 году локальный инференс моделей может стать значительно доступнее и мощнее. По данным анализа, к этому времени модели размером до 100 миллиардов параметров смогут работать на потребительских устройствах, включая ноутбуки и смартфоны. Это станет возможным благодаря развитию аппаратного обеспечения, оптимизации алгоритмов и появлению новых архитектур, которые снижают требования к вычислительным ресурсам. Lobsters · Инференс и железо Альтернативы CUDA и OpenCL для инференса ИИ Компания Modular, специализирующаяся на разработке инфраструктуры для ИИ, выпустила пятую часть своего исследования, посвящённую демократизации вычислительных ресурсов для ИИ. В этом материале рассматриваются альтернативы CUDA и OpenCL, которые могут быть полезны для разработчиков ИИ-агентов, особенно в условиях ограниченного доступа к специализированному железу. Hacker News · Инференс и локальный запуск Корпоративные ИИ-агенты уходят с серверов Компании всё чаще переходят на локальный запуск ИИ-агентов, отказываясь от облачных серверов. Это связано с ростом требований к безопасности, конфиденциальности и контролю над данными. Локальные решения позволяют избежать утечек и снизить зависимость от третьих сторон, что особенно важно для корпоративных клиентов. Hacker News · Инференс и железо Как запускать ИИ-провайдера за $6 в месяц на 4x RTX 3090 Разработчик поделился своим опытом запуска ИИ-провайдера с ограниченным бюджетом. Он использует четыре видеокарты RTX 3090, что позволяет ему предлагать услуги по доступной цене — всего $6 в месяц. Это решение может быть полезным для тех, кто хочет развернуть собственные модели или тестировать их без значительных затрат. Hacker News · Обучение ИИ в Европе Может ли Европа обучать передовые ИИ-модели на своих вычислительных мощностях Исследователи из компании SammySLtd задались вопросом: способна ли Европа обучать передовые ИИ-модели на своих вычислительных мощностях. В их исследовании рассматривается текущее состояние инфраструктуры, доступной в Европе, и её потенциал для обучения крупных языковых моделей. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. Microsoft Research · Оркестрация и оптимизация для малых моделей MagenticLite: агентная система для малых моделей от Microsoft Research Microsoft Research представила MagenticLite — агентную систему, оптимизированную для работы с малыми моделями. Она поддерживает выполнение задач как в браузере, так и в локальной файловой системе, что делает её универсальным решением для повседневных задач. Система объединяет специализированные модели и оркестрацию, что позволяет эффективно использовать ограниченные вычислительные ресурсы. Hacker News · Оптимизация вычислений для ИИ-агентов Компиляция алгоритмов матричного умножения в быстрые CUDA-ядра Исследователи представили новый подход к компиляции алгоритмов матричного умножения, основанных на методе Штрассена, в эффективные CUDA-ядра. Это позволяет значительно ускорить вычисления, что особенно важно для задач, связанных с обработкой больших матриц в ИИ-агентах. arXiv · Прогнозирование и моделирование Новый подход к долгосрочному прогнозированию временных рядов Исследователи из Arxiv представили новый метод HAMON, который использует пассивное оптическое смешивание последовательностей для долгосрочного прогнозирования временных рядов. Этот подход демонстрирует, что простые линейные и частотные модели могут быть конкурентоспособными в задачах долгосрочного прогнозирования, что ставит под сомнение необходимость использования сложных трансформерных моделей в этом контексте.

← Все материалы