Hacker News · 14.06.2026 ·Инференс и локальный запуск моделей

Индексация 669 ГБ видео с помощью локальных моделей на M1 Max

Автор проекта успешно индексировал 669 ГБ видео с GoPro камер с использованием локальных ML-моделей на компьютере с процессором M1 Max. Это демонстрирует возможность обработки больших объемов данных без использования облачных сервисов, что может быть полезно для разработки ИИ-агентов, работающих с мультимедийными данными.

Для индексации видео автор использовал локальные модели, что позволило избежать затрат на облачные вычисления и обеспечить конфиденциальность данных. Процесс включал распознавание объектов, сцен и действий в видео, что может быть полезно для создания ИИ-агентов, способных анализировать и интерпретировать мультимедийный контент.

Важным аспектом проекта является использование аппаратных возможностей M1 Max, которые позволяют эффективно выполнять вычисления с использованием локальных моделей. Это открывает возможности для разработки ИИ-агентов, которые могут работать на локальных устройствах с высокой производительностью.

Проект показывает, что локальные модели могут быть использованы для обработки больших объемов данных, что может быть полезно для создания ИИ-агентов, способных работать с мультимедийными данными без необходимости использования облачных сервисов. Это может быть особенно полезно для разработки агентов, которые требуют высокой степени конфиденциальности и безопасности данных.

Источник: Hacker News

Похожие материалы

NVIDIA Technical Blog · Инференс и агентные workflows MiniMax M3 и NVIDIA для агентных workflows с длинным контекстом NVIDIA и MiniMax представили решение для развёртывания агентных workflows с поддержкой длинного контекста. Это важно для разработчиков, которым приходится собирать фрагментированные пайплайны из разных моделей для текста, изображения и других задач. Hacker News · Инференс и железо MLX-Optiq: квантование LLM для Apple Silicon Команда MLX представила MLX-Optiq — инструмент для переноса больших языковых моделей (LLM) на устройства Apple Silicon с поддержкой смешанной точности. Это решение позволяет значительно сократить потребление памяти и вычислительных ресурсов при инференсе моделей, что особенно важно для мобильных и встраиваемых устройств. Hacker News · Локальный запуск моделей Локальный запуск моделей стал реальностью В последнее время локальный запуск больших языковых моделей (LLM) стал значительно проще и доступнее. Это связано с развитием технологий, которые позволяют запускать мощные модели даже на обычных ноутбуках. Например, модели вроде GPT-4 или Llama 2 теперь можно развернуть локально с помощью таких фреймворков, как Ollama или LM Studio. Это открывает новые возможности для разработчиков, которые хотят создавать ИИ-агенты с минимальными затратами на инфраструктуру. Hacker News · AI-агенты и память Локальная система памяти для RAG с возможностью записи ИИ Разработчик Paul Tobey представил локальную систему памяти для RAG (Retrieval-Augmented Generation), которая позволяет ИИ-агентам напрямую записывать информацию. Проект доступен на GitHub и реализует механизм, аналогичный Memory Control Plane (MCP), но с упором на локальное хранение данных. GitHub · Локальный инференс и модели Apple открыла репозиторий с инструментами для локального ИИ Apple выпустила открытый репозиторий coreai-models на GitHub, который содержит рецепты экспорта моделей, Python-примитивы и утилиты для работы с ИИ на устройствах. Это значимый шаг, так как Apple активно продвигает локальные вычисления для ИИ, что особенно важно для разработчиков, работающих над автономными агентами. Hugging Face - Blog · Инференс и железо Transformers переезжает на MLX для ускоренного инференса Hugging Face анонсировал переход библиотеки Transformers на MLX — фреймворк для ускоренного инференса моделей на Apple Silicon. Это важный шаг для разработчиков ИИ-агентов, так как позволяет запускать сложные модели на потребительских устройствах с минимальными затратами. Hugging Face - Blog · Локальный инференс и железо Reachy Mini: локальный ИИ-агент с открытым исходным кодом Компания Pollen Robotics представила Reachy Mini — локальный ИИ-агент с открытым исходным кодом, который может работать на обычном ноутбуке. Это важный шаг в развитии локальных решений для ИИ-агентов, так как многие современные системы требуют мощных серверов или облачных вычислений. Hacker News · Инференс и железо Qwen 3.6 93B на двух RTX 3090 NVLink: 187 токенов в секунду Команда Augmented Reality Virtual Reality (AR VR) опубликовала результаты тестирования модели Qwen 3.6 93B с использованием MTP (Multi-Query Tensor Parallelism) на конфигурации из двух видеокарт RTX 3090 с NVLink. В результате удалось достичь скорости инференса в 187 токенов в секунду. Это значительное улучшение по сравнению с предыдущими показателями, что делает модель более пригодной для локального использования, включая разработку ИИ-агентов. Google DeepMind News · Выход новых моделей Gemini 3.1 Pro от DeepMind для сложных задач DeepMind представила новую модель Gemini 3.1 Pro, ориентированную на решение сложных задач, где требуется не просто ответ, а глубокий анализ и понимание контекста. Модель демонстрирует улучшенные способности в обработке сложных запросов, что делает её перспективной для применения в различных областях, включая разработку ИИ-агентов. Microsoft Research · Оркестрация и оптимизация для малых моделей MagenticLite: агентная система для малых моделей от Microsoft Research Microsoft Research представила MagenticLite — агентную систему, оптимизированную для работы с малыми моделями. Она поддерживает выполнение задач как в браузере, так и в локальной файловой системе, что делает её универсальным решением для повседневных задач. Система объединяет специализированные модели и оркестрацию, что позволяет эффективно использовать ограниченные вычислительные ресурсы.

← Все материалы