Hacker News · 16.06.2026 ·Инфраструктура для агентов

Luce KVFlash: 256K контекст и 72MiB кэша на GPU

Команда Luce-Org представила KVFlash — оптимизацию для работы с большими объёмами контекста в GPU. Решение позволяет обрабатывать до 256K контекста с использованием 72MiB кэша ключ-значение (KV) на видеокарте. Это существенно расширяет возможности локального инференса, особенно для задач, требующих глубокого контекста, таких как RAG или сложные диалоги.

KVFlash интегрируется в LuceBox — фреймворк для разработки ИИ-агентов. Оптимизация снижает нагрузку на память и ускоряет обработку запросов, что делает её полезной для разработчиков, работающих с большими языковыми моделями. Код проекта открыт и доступен на GitHub.

Решение может быть полезно для создания более сложных и автономных ИИ-агентов, способных работать с обширными базами знаний без потери производительности. Это важный шаг в развитии инфраструктуры для локального развёртывания моделей.

Источник: Hacker News

Похожие материалы

Hacker News · Инференс и железо Как кеш ключ-значение влияет на VRAM при работе с длинным контекстом Работа с длинными контекстами в ИИ-моделях — одна из ключевых задач при разработке агентов. Однако увеличение длины контекста приводит к росту потребления VRAM, что ограничивает возможности инференса на доступном железе. В статье разбирается, как именно кеш ключ-значение (KV cache) влияет на использование памяти и какие стратегии позволяют оптимизировать этот процесс. MarkTechPost · Инференс и железо Flash-KMeans: ускорение K-Means на GPU в 200 раз Flash-KMeans — это открытая реализация алгоритма K-Means, оптимизированная для работы на GPU с использованием Triton. В отличие от существующих решений, она не меняет математическую основу алгоритма, но значительно ускоряет его выполнение за счёт оптимизации ввода-вывода и устранения проблем с конкуренцией за ресурсы. Hacker News · Инференс и железо FlashQwen – новый CUDA-движок для ускоренного инференса Qwen3 Разработчики представили FlashQwen – инференс-движок для модели Qwen3, написанный с нуля на CUDA. Это решение направлено на оптимизацию работы с моделями большого языка, особенно в условиях ограниченных ресурсов. FlashQwen использует современные методы ускорения вычислений, включая кэширование и оптимизацию ядра CUDA, что позволяет значительно сократить время инференса. arXiv · Инфраструктура для агентов Новый метод сжатия KV-кэша для LLM снижает нагрузку на память Исследователи предложили метод AnchorKV для сжатия ключевых значений (KV) в кэше языковых моделей. Это решение направлено на уменьшение нагрузки на память и энергопотребление при инференсе, что особенно актуально для крупных языковых моделей (LLM). Hacker News · Инфраструктура для агентов Infinite Context Paging Engine: нулевой копирование контекста для LLM Разработчики представили Infinite Context Paging Engine — инструмент на Rust для управления контекстом в больших языковых моделях (LLM) с нулевым копированием данных. Решение позволяет обрабатывать контекстные окна без дублирования данных, что ускоряет работу моделей и снижает нагрузку на память. Hacker News · Память и RAG Новый метод компактификации кэша ключ-значение для ИИ-агентов Исследователи представили новый метод компактификации кэша ключ-значение (KV), который может значительно улучшить производительность ИИ-агентов. В статье, опубликованной на arXiv, описывается подход Still, который выполняет компактификацию за один проход, что снижает накладные расходы и ускоряет работу систем с большими объёмами данных. Hacker News · Инференс и железо Экономия 67% на инференсе с Ray и vLLM на AMD MI325X Команда Anyscale опубликовала исследование, в котором продемонстрировала значительную экономию на инференсе моделей большого языка. Используя Ray и vLLM на процессорах AMD MI325X, удалось достичь сокращения затрат на 67% за счёт разнесения (disaggregation) префикса и декодирования. arXiv · Память и RAG KVEraser: метод для точного удаления контекста из кэша KV Исследователи из MIT и Google Research представили метод KVEraser, который решает проблему точного удаления контекста из кэша ключ-значение (KV) в больших языковых моделях. Проблема заключается в том, что при удалении части контекста его влияние распространяется на все последующие токены, что делает локальные правки сложными. Together.ai · Инференс и железо DeepSeek-V4 и миллион-токеновый контекст: вызов для инференс-систем DeepSeek-V4, новая модель от DeepSeek, поддерживает контекст длиной в миллион токенов. Это создаёт новые вызовы для инференс-систем, так как обработка такого объёма данных требует оптимизации на уровне оборудования и алгоритмов. Hacker News · Инференс и железо Qwen 3.6 93B на двух RTX 3090 NVLink: 187 токенов в секунду Команда Augmented Reality Virtual Reality (AR VR) опубликовала результаты тестирования модели Qwen 3.6 93B с использованием MTP (Multi-Query Tensor Parallelism) на конфигурации из двух видеокарт RTX 3090 с NVLink. В результате удалось достичь скорости инференса в 187 токенов в секунду. Это значительное улучшение по сравнению с предыдущими показателями, что делает модель более пригодной для локального использования, включая разработку ИИ-агентов.

← Все материалы