Инференс и железо
Samsung представила три новых типа памяти для ИИ-инфраструктуры
Samsung анонсировала три инновационные технологии памяти — zHBM, zNAND-O и BV-NAND, разработанные специально для высокопроизводительных ИИ-вычислений и дата-центров. Новинки используют передовые методы бондинга пластин, позволяя значительно увеличить плотность хранения данных и скорость обмена информацией, что критически важно для обучения и инференса крупномасштабных языковых моделей в условиях растущих требований к пропускной способности памяти.
AMD покупает стартап Taalas для аппаратной оптимизации ИИ-моделей
AMD объявила о приобретении канадского стартапа Taalas, специализирующегося на создании специализированных чипов, в которые веса ИИ-моделей «зашиваются» непосредственно на уровне кремния. Такой подход позволяет достичь экстремальной производительности инференса, исключая необходимость в традиционной загрузке весов из оперативной памяти, что радикально сокращает задержки и энергопотребление при работе с конкретными архитектурами нейросетей.
AMD представила сервер Instinct Coder для локального запуска ИИ-моделей
AMD анонсировала сервер Instinct Coder, оснащенный восемью ускорителями MI325X, предназначенный для локального развертывания крупных языковых моделей. Система ориентирована на корпоративные задачи программирования и инференса, обеспечивая снижение стоимости генерации токенов на 70% по сравнению с облачными решениями. Устройство позволяет компаниям масштабировать разработку ИИ-инструментов, сохраняя полный контроль над данными внутри собственного контура безопасности.
SambaNova представила архитектуру RDU для ускорения работы ИИ-моделей
Компания SambaNova Systems разработала специализированную архитектуру Reconfigurable Dataflow Unit (RDU), предназначенную для высокопроизводительного инференса и обучения нейросетей. В отличие от традиционных GPU, чипы RDU оптимизированы для потоковой передачи данных, что позволяет эффективно обрабатывать сложные модели с большим количеством параметров, снижая задержки и повышая пропускную способность при запуске LLM в корпоративной среде.
Инструмент для бенчмаркинга локальных LLM под характеристики устройства
Проект local_bench позволяет оценить производительность различных языковых моделей на конкретном «железе» пользователя. Утилита автоматизирует процесс тестирования LLM, помогая определить, какие модели оптимально подходят для имеющихся аппаратных ресурсов, включая объем оперативной памяти и мощность GPU. Это упрощает выбор подходящей конфигурации для запуска локальных ИИ-решений без необходимости ручного подбора параметров.
DeepSeek V4 Flash: анализ стоимости локального запуска против облачного API
Исследование сравнивает экономическую эффективность запуска модели DeepSeek V4 Flash на собственном оборудовании и использования облачных API. Автор анализирует затраты на GPU, электроэнергию и амортизацию железа, сопоставляя их с актуальными тарифами провайдеров за миллион токенов. Результаты показывают точку безубыточности, при которой самостоятельный инференс становится выгоднее аутсорсинга вычислительных мощностей для различных сценариев нагрузки.
Квантование KV-кэша до 2 бит значительно снижает требования к памяти LLM
Исследователи представили метод квантования KV-кэша до 2 бит (INT2), который позволяет существенно сократить потребление видеопамяти при работе с длинными контекстами. Технология сохраняет высокую точность генерации, практически не уступая стандартным методам с более высокой разрядностью, что открывает возможности для запуска моделей с огромным контекстным окном на потребительском оборудовании с ограниченным объемом VRAM.
SparSEEty: новый метод извлечения токенов из разреженных LLM-систем
Исследователи представили SparSEEty — метод извлечения токенов из систем обслуживания LLM, использующих разреженность (sparsity) для оптимизации вычислений. Авторы продемонстрировали, как можно восстановить данные из промежуточных состояний разреженных моделей, что открывает новые возможности для анализа производительности и безопасности при работе с высокоэффективными архитектурами, ориентированными на снижение вычислительных затрат при инференсе.
Liquid AI представила компактную агентную модель LFM2.5-2.6B для локального запуска
Компания Liquid AI выпустила модель LFM2.5-2.6B, оптимизированную для выполнения сложных агентных задач непосредственно на пользовательских устройствах. Модель с 2,69 млрд параметров поддерживает контекстное окно 128K токенов, обладает встроенными функциями вызова инструментов и демонстрирует высокую скорость генерации до 220 токенов в секунду на чипах Apple M5 Max, потребляя менее 2,5 ГБ оперативной памяти.
Оптимизация ПО позволяет NVIDIA B200 конкурировать с LPU и Cerebras
Новое исследование показывает, что программная оптимизация позволяет графическому процессору NVIDIA B200 достигать производительности, сопоставимой со специализированными LPU (Language Processing Units) и системами Cerebras. За счет эффективной работы с памятью и алгоритмических улучшений, стандартное «железо» общего назначения демонстрирует значительный прирост скорости инференса LLM, сокращая технологический разрыв с узкоспециализированными архитектурами для ИИ.
Визуальный гид по квантованию LLM: как сжимают нейросети
Маартен Гротендорст опубликовал подробный визуальный разбор процесса квантования больших языковых моделей. Статья объясняет, как снижение точности весов нейросети с 16-битных чисел до 8, 4 или даже 2 бит позволяет радикально уменьшить требования к видеопамяти и ускорить инференс, сохраняя при этом приемлемое качество генерации текста и логических способностей модели.
Запуск LLM на микроконтроллере ESP32 с визуализацией процесса мышления
Проект Brainscope демонстрирует возможность работы языковых моделей на микроконтроллерах ESP32, предоставляя инструменты для визуализации внутреннего состояния нейросети в реальном времени. Решение позволяет отслеживать процесс генерации токенов и активацию слоев модели непосредственно на маломощном аппаратном обеспечении, что открывает новые возможности для локального инференса в граничных вычислениях и IoT-устройствах с ограниченными ресурсами.
GPU-инфраструктура для запуска ИИ-агентов по требованию
Сервис GiveMeANode предлагает облачный доступ к GPU-инфраструктуре, оптимизированной для запуска ИИ-агентов и локальных моделей. Платформа предоставляет аренду вычислительных мощностей с почасовой оплатой, позволяя разработчикам разворачивать агентные системы без необходимости покупки дорогостоящего оборудования. Решение ориентировано на задачи инференса, требующие низкой задержки и высокой доступности ресурсов для агентных рабочих процессов.
AMD приобретает стартап Taalas для аппаратной оптимизации ИИ-моделей
Компания AMD объявила о покупке стартапа Taalas, специализирующегося на создании специализированных чипов, в которых алгоритмы ИИ реализованы на аппаратном уровне. Эта сделка направлена на повышение энергоэффективности и производительности инференса за счет исключения необходимости в программной интерпретации моделей, что позволяет выполнять вычисления непосредственно в структуре кремния.
Anthropic планирует разработку собственных чипов для моделей Claude
Компания Anthropic официально объявила о формировании команды для проектирования специализированного аппаратного обеспечения. Цель инициативы — оптимизация инференса моделей семейства Claude и снижение зависимости от сторонних поставщиков графических процессоров, в частности Nvidia. Этот шаг отражает общую стратегию ведущих ИИ-лабораторий по вертикальной интеграции для масштабирования вычислительных мощностей и контроля над себестоимостью обучения и запуска нейросетей.
AMD приобретает стартап Taalas для аппаратной оптимизации ИИ-инференса
AMD объявила о покупке стартапа Taalas, специализирующегося на создании специализированных чипов, которые «зашивают» архитектуру нейросетей непосредственно в кремний. Технология позволяет выполнять инференс моделей без использования традиционных GPU, что значительно повышает энергоэффективность и скорость обработки данных. Сделка направлена на укрепление позиций компании в сегменте высокопроизводительных вычислений и оптимизацию работы с крупными языковыми моделями.
Сборка рабочей станции с двумя GPU V100 для локального запуска LLM
Энтузиаст собрал высокопроизводительную рабочую станцию на базе двух графических процессоров NVIDIA Tesla V100 для локального запуска больших языковых моделей. Проект демонстрирует практический подход к созданию мощного вычислительного узла вне облачных инфраструктур, позволяя эффективно работать с весами моделей, требующими значительного объема видеопамяти, при сохранении полного контроля над данными и отсутствия затрат на аренду облачных мощностей.
Исправление производительности llama.cpp для архитектуры Strix Halo
Разработчики llama.cpp устранили критическую проблему производительности при работе с архитектурой AMD Strix Halo. Ошибка приводила к резкому падению скорости вычислений в операциях flash-attention, что негативно сказывалось на инференсе LLM. Патч оптимизирует использование вычислительных блоков процессора, восстанавливая стабильную пропускную способность при работе с плотными матрицами.
Оптимизация инференса: многочиповые ядра и эффективность вычислений
Технический разбор новых подходов к организации инференса LLM фокусируется на повышении энергоэффективности и производительности при работе с крупными моделями. Основное внимание уделено архитектурным решениям для распределенных вычислений, включая использование многочиповых ядер (Multi-GPU Kernels) и гетерогенных сред, которые позволяют динамически перераспределять нагрузку между различными типами вычислительных мощностей для достижения максимальной пропускной способности.
Запуск приватных LLM внутри доверенных сред исполнения (TEE) с аппаратной верификацией
Исследователи представили метод запуска больших языковых моделей внутри доверенных сред исполнения (TEE), таких как Intel SGX. Решение позволяет выполнять инференс полностью локально, исключая облачных провайдеров из цепочки доверия. Аппаратная верификация гарантирует, что модель и данные остаются конфиденциальными, а код выполняется именно так, как заявлено, без возможности вмешательства со стороны хостинг-провайдера.
Почему Fireworks AI отказывается от поддержки Voice AI
Компания Fireworks AI официально заявила об отказе от развития направления Voice AI в своей инфраструктуре. Основная причина заключается в фундаментальном расхождении между требованиями к голосовым моделям и текущей архитектурой платформы, оптимизированной для высокопроизводительного текстового инференса. Разработчики подчеркивают, что специализация на текстовых LLM позволяет достигать значительно более низких задержек и высокой пропускной способности.
Запуск LLM и ИИ-агентов на микроконтроллере ESP32-P4
Разработчики представили решение для запуска компактной языковой модели с 180,9 млн параметров непосредственно на микроконтроллере ESP32-P4. Проект демонстрирует возможность выполнения инференса и базовых агентных функций на энергоэффективном «железе» без подключения к облачным серверам, что открывает новые перспективы для локальной автоматизации и встраиваемых систем с ограниченными вычислительными ресурсами.
D-Wave расширяет стек: от квантовых отжигателей к гейтовым процессорам
Компания D-Wave, известная своими квантовыми отжигателями, представила результаты тестирования новой архитектуры на базе двухрельсовых кубитов. Разработчик успешно продемонстрировал квантовую запутанность в гейтовой системе, что знаменует переход компании к созданию универсальных квантовых компьютеров. Это технологическое изменение позволяет D-Wave конкурировать с лидерами рынка, использующими логические вентили для вычислений.
Калькулятор аппаратных требований для запуска локальных LLM
Разработчики представили инструмент для расчета необходимых мощностей оборудования при запуске локальных языковых моделей. Сервис позволяет оценить требования к видеопамяти (VRAM) и оперативной памяти в зависимости от параметров модели, метода квантования и контекстного окна. Это упрощает подбор конфигурации серверов или рабочих станций для развертывания ИИ-решений без обращения к облачным API.