Hacker News · 18.06.2026 ·Инфраструктура для агентов

Обновление mistral.rs: поддержка навыков и API-совместимость

Вышла новая версия библиотеки mistral.rs (v0.8.10), ориентированной на эффективный инференс больших языковых моделей. Ключевым нововведением стала поддержка навыков (skills) через стандартный интерфейс /v1/skills. Это позволяет разработчикам интегрировать агентные функции непосредственно в среду выполнения модели, обеспечивая более гибкое управление задачами и исполняемым кодом.

Библиотека продолжает развивать возможности локального запуска моделей, предлагая оптимизированные пути для работы с архитектурами Mistral и другими популярными LLM. Внедрение поддержки навыков упрощает создание агентных систем, где модель может вызывать внешние инструменты или функции в рамках единого API-контура. Это снижает накладные расходы на оркестрацию и ускоряет взаимодействие между логикой агента и исполняемым кодом.

Обновление также включает ряд улучшений производительности и исправлений, направленных на повышение стабильности при работе с длинными контекстами и сложными запросами. Инструмент остается важным решением для тех, кто строит агентную инфраструктуру с упором на локальное исполнение и минимизацию задержек при вызове внешних функций.

Источник: Hacker News

Похожие материалы

Mistral AI Blog · Инфраструктура для агентов Mistral представила API для создания ИИ-агентов Mistral анонсировала Mistral Agents API — инструмент для разработки ИИ-агентов. API предоставляет доступ к моделям Mistral, включая Mistral Large, и позволяет создавать агентов с поддержкой памяти, RAG и других функций. Mistral AI Blog · Память и RAG Mistral представила систему памяти для ИИ-агентов Mistral анонсировала новую систему памяти для ИИ-агентов, которая позволяет сохранять и использовать контекстные данные для более точного выполнения задач. Решение интегрируется с существующими агентными платформами и поддерживает различные форматы хранения информации. Mistral AI Blog · Модели и релизы Новые модели Devstral улучшают кодинговые способности агентов Компания Mistral анонсировала обновлённые модели Devstral, предназначенные для повышения кодинговых способностей ИИ-агентов. Новые версии моделей демонстрируют улучшенную точность и эффективность при выполнении задач программирования, включая написание, рефакторинг и отладку кода. Mistral AI Blog · Инференс и железо Mistral представила удалённые агенты в Vibe на базе Mistral Medium 3.5 Mistral анонсировала обновление платформы Vibe, добавив поддержку удалённых агентов. Они работают на модели Mistral Medium 3.5 и могут выполнять задачи без необходимости локального развёртывания. Mistral AI Blog · Модели и релизы Mistral Small 4: компактная модель с улучшенными характеристиками Mistral представила новую версию своей компактной модели Mistral Small 4. Она поддерживает контекстное окно в 128K токенов, что позволяет обрабатывать более длинные тексты и сложные запросы. Новая модель демонстрирует улучшенные показатели в различных задачах, включая понимание естественного языка и генерацию текста. Mistral AI Blog · Модели и релизы Mistral представила модель Mistral 3 с 200+ миллиардами параметров Mistral анонсировала новую модель Mistral 3, которая включает три версии: Mistral 3 12B, Mistral 3 44B и Mistral 3 200B. Все версии поддерживают работу с 128K контекстными окнами и доступны в режиме инференса на платформе Mistral AI. Mistral AI Blog · Инференс и железо Mistral Compute: инфраструктура для локального запуска моделей Mistral AI представила Mistral Compute — инфраструктуру для локального запуска больших языковых моделей. Решение позволяет развернуть модели на собственных серверах или в облаке, обеспечивая контроль над данными и снижая зависимость от сторонних сервисов. Hugging Face - Blog · Инференс и железо vLLM V1: как ServiceNow ускорил инференс без потери точности ServiceNow представила обновлённую версию vLLM (v1), которая фокусируется на корректности перед исправлениями в RL (reinforcement learning). Новый подход позволяет ускорить инференс моделей без ущерба для точности, что особенно важно для агентов, работающих в реальном времени. Simon Willison's Weblog · Инференс и железо llm 0.32a3: новый релиз с поддержкой Claude Fable 5 Вышел новый релиз llm 0.32a3, который включает поддержку модели Claude Fable 5 от Anthropic. Это значительное обновление, так как llm — это фреймворк для локального запуска больших языковых моделей, что делает его потенциально полезным для разработки ИИ-агентов, таких как Jarv. Mistral AI Blog · Инфраструктура для агентов Утечка памяти в vLLM: как её обнаружили и исправили Команда Mistral AI обнаружила и устранила утечку памяти в vLLM — популярном фреймворке для ускоренного инференса больших языковых моделей. Проблема заключалась в неправильной обработке промежуточных данных, что приводило к накоплению ненужной информации в оперативной памяти.

← Все материалы