Hacker News · 16.06.2026 ·Инференс и железо

Sors: прокси на Rust для оптимизации кэша vLLM

Разработчики представили Sors — прокси-сервер на Rust, который переупорядочивает запросы к моделям, чтобы максимизировать использование префиксного кэша vLLM. Это позволяет ускорить обработку запросов и снизить нагрузку на вычислительные ресурсы.

Sors работает как промежуточный слой между клиентом и моделью, анализируя входящие запросы и оптимизируя их порядок для более эффективного использования кэша. Это особенно полезно в сценариях с высокой нагрузкой, где скорость обработки запросов критически важна.

Проект доступен на GitHub под лицензией Apache 2.0. Разработчики отмечают, что Sors совместим с различными моделями, поддерживаемыми vLLM, и может быть легко интегрирован в существующие инфраструктуры.

Sors может быть полезен для разработчиков, работающих с большими языковыми моделями и стремящихся оптимизировать производительность своих систем. Проект продолжает развиваться, и сообщество может внести свой вклад в его улучшение.

Источник: Hacker News

Похожие материалы

arXiv · Безопасность и алайнмент GAS-Leak-LLM: генетический алгоритм для взлома LLM Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам. Hacker News · Инференс и железо MLX-Optiq: квантование LLM для Apple Silicon Команда MLX представила MLX-Optiq — инструмент для переноса больших языковых моделей (LLM) на устройства Apple Silicon с поддержкой смешанной точности. Это решение позволяет значительно сократить потребление памяти и вычислительных ресурсов при инференсе моделей, что особенно важно для мобильных и встраиваемых устройств. Hacker News · Оценка и бенчмарки Как оценивают LLM-судей с помощью возмущающих тестов Компания Forus представила метод оценки LLM-судей на основе возмущающих тестов. Подход позволяет проверять устойчивость моделей к различным типам искажений и ошибок, что критично для их использования в агентных системах. Hacker News · Инференс и железо Slopsome — калькулятор VRAM и база токенов в секунду для локальных моделей Slopsome — это инструмент, который помогает оценить, какие локальные модели можно запустить на вашем оборудовании. Он учитывает объём VRAM и скорость обработки токенов в секунду (tok/s), что критически важно для выбора оптимальной модели для инференса. Hacker News · Инференс и железо Snapcompact: компактный инференс моделей локально и бесплатно Команда Can.AI представила Snapcompact — новый подход к компактификации моделей, который позволяет запускать большие языковые модели локально с минимальными затратами ресурсов. Snapcompact использует инновационные методы компрессии, которые сохраняют точность моделей при значительном уменьшении их размера. Это особенно важно для разработчиков ИИ-агентов, так как позволяет развертывать сложные модели на устройствах с ограниченными ресурсами, включая ноутбуки и мобильные устройства. Hacker News · Оркестрация агентов Brick: новый фреймворк для маршрутизации LLM Исследователи представили Brick — фреймворк для маршрутизации запросов между различными языковыми моделями (LLM). В отличие от традиционных подходов, Brick использует динамическое распределение задач, что позволяет значительно повысить точность и эффективность обработки запросов. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Hacker News · Инфраструктура для агентов Outpost: прокси для агентов на основе возможностей Разработчики из Openclaw представили Outpost — фреймворк для создания прокси-серверов, которые управляют доступом ИИ-агентов к различным сервисам на основе их возможностей. Это решение позволяет гибко настраивать права доступа агентов, что особенно важно для безопасности и масштабируемости. Hacker News · Инфраструктура для агентов Diplomat: FFI для Rust, чтобы интегрировать модели и библиотеки Diplomat — это инструмент, который упрощает Foreign Function Interface (FFI) для Rust-библиотек, позволяя использовать их в других языках программирования. Это особенно важно для разработчиков ИИ-агентов, так как многие ключевые компоненты, такие как модели, библиотеки для обработки естественного языка и инструменты для работы с данными, часто пишутся на Rust из-за его производительности и безопасности. Hacker News · Модели и релизы Как выглядит локальная инфраструктура LLM у разработчиков На Hacker News обсуждают, как разработчики настраивают локальные LLM для работы. Вопрос задал пользователь, интересующийся, какие модели, оборудование и инструменты используют другие участники сообщества. Это важно для Jarv, так как локальный запуск моделей — ключевой элемент для создания автономных агентов, которые могут работать без облачных сервисов.

← Все материалы