Hacker News · 16.06.2026 ·Инференс и железо

Lexar предлагает хранить локальные модели ИИ на SSD

Компания Lexar разрабатывает решение для размещения локальных моделей ИИ на SSD. Это связано с растущим спросом на вычислительные ресурсы и ограниченной доступностью оперативной памяти.

Технология Lexar позволит загружать модели ИИ на SSD, что снизит нагрузку на RAM и сделает использование локальных моделей более доступным. Это особенно актуально для пользователей, работающих с крупными моделями, требующими значительных ресурсов.

Предложение Lexar может стать важным шагом в развитии локального инференса, так как позволяет использовать более дешёвые и доступные компоненты для работы с ИИ. Это может ускорить внедрение ИИ-решений в различных сферах, включая разработку и бизнес-приложения.

Компания планирует представить своё решение в ближайшее время, что может изменить подход к локальному развёртыванию моделей ИИ.

Источник: Hacker News

Похожие материалы

Hacker News · Инференс и железо Прогноз локального инференса моделей к 2026 году К 2026 году локальный инференс моделей может стать значительно доступнее и мощнее. По данным анализа, к этому времени модели размером до 100 миллиардов параметров смогут работать на потребительских устройствах, включая ноутбуки и смартфоны. Это станет возможным благодаря развитию аппаратного обеспечения, оптимизации алгоритмов и появлению новых архитектур, которые снижают требования к вычислительным ресурсам. Hacker News · Инференс и железо Корпоративные ИИ-агенты уходят с серверов Компании всё чаще переходят на локальный запуск ИИ-агентов, отказываясь от облачных серверов. Это связано с ростом требований к безопасности, конфиденциальности и контролю над данными. Локальные решения позволяют избежать утечек и снизить зависимость от третьих сторон, что особенно важно для корпоративных клиентов. Hacker News · Инференс и железо MLX-Optiq: квантование LLM для Apple Silicon Команда MLX представила MLX-Optiq — инструмент для переноса больших языковых моделей (LLM) на устройства Apple Silicon с поддержкой смешанной точности. Это решение позволяет значительно сократить потребление памяти и вычислительных ресурсов при инференсе моделей, что особенно важно для мобильных и встраиваемых устройств. Hacker News · Модели и релизы Локальный запуск моделей стал реальностью В последнее время локальный запуск больших языковых моделей (LLM) стал значительно проще и доступнее. Это связано с развитием технологий, которые позволяют запускать мощные модели даже на обычных ноутбуках. Например, модели вроде GPT-4 или Llama 2 теперь можно развернуть локально с помощью таких фреймворков, как Ollama или LM Studio. Это открывает новые возможности для разработчиков, которые хотят создавать ИИ-агенты с минимальными затратами на инфраструктуру. Hacker News · Память и RAG Локальная система памяти для RAG с возможностью записи ИИ Разработчик Paul Tobey представил локальную систему памяти для RAG (Retrieval-Augmented Generation), которая позволяет ИИ-агентам напрямую записывать информацию. Проект доступен на GitHub и реализует механизм, аналогичный Memory Control Plane (MCP), но с упором на локальное хранение данных. Hacker News · Память и RAG DNA Memory Architecture: новая архитектура памяти для ИИ-агентов Разработчики ИИ-агентов сталкиваются с проблемой эффективного хранения и управления памятью, особенно при работе с большими объемами данных. В новой статье на Substack представлена архитектура DNA Memory, которая предлагает альтернативу традиционным подходам к хранению информации. Lobsters · Инференс и железо Thunderbolt-ibverbs: InfiniBand для локального запуска моделей Разработчики из Hellas AI представили проект thunderbolt-ibverbs, который позволяет использовать InfiniBand — высокоскоростную сетевую технологию, ранее доступную только в дата-центрах — на потребительском оборудовании через интерфейс Thunderbolt. Это открывает новые возможности для локального запуска крупных языковых моделей и других вычислительно интенсивных задач. Hugging Face - Blog · Модели и релизы IBM Granite 4.1: новые модели для локального инференса IBM представила обновлённые модели Granite 4.1, которые демонстрируют значительные улучшения в производительности и эффективности. Эти модели, доступные в различных размерах (7B, 13B, 34B и 115B параметров), оптимизированы для работы на локальных устройствах, что делает их особенно привлекательными для разработчиков ИИ-агентов, стремящихся к автономности и снижению затрат на облачные вычисления. Hacker News · Инференс и железо InferenceFS: файловая система для удобного инференса InferenceFS — это файловая система, которая позволяет удобно работать с данными при инференсе моделей. Она предоставляет интерфейс, похожий на обычную файловою систему, но с возможностью кэширования, управления версиями и оптимизации доступа к данным. Это особенно полезно для разработчиков ИИ-агентов, так как позволяет избежать проблем с управлением данными при инференсе. Hacker News · Инференс и железо Экономия 67% на инференсе с Ray и vLLM на AMD MI325X Команда Anyscale опубликовала исследование, в котором продемонстрировала значительную экономию на инференсе моделей большого языка. Используя Ray и vLLM на процессорах AMD MI325X, удалось достичь сокращения затрат на 67% за счёт разнесения (disaggregation) префикса и декодирования.

← Все материалы