Simon Willison's Weblog · 30.07.2026 ·Инфраструктура для агентов

Выпущен llm-chat-completions-server для локальной работы с API OpenAI

Вышел релиз llm-chat-completions-server версии 0.1a0, предоставляющий локальный сервер для обработки запросов в формате OpenAI Chat Completions. Инструмент позволяет использовать привычный API-интерфейс для взаимодействия с локальными моделями, поддерживая расширение контекста диалога через контентно-адресуемые логи, что упрощает интеграцию локальных LLM в существующие агентные пайплайны и приложения, рассчитанные на стандарт OpenAI.

Разработка опирается на нововведения в версии LLM 0.32rc1, где реализована система контентно-адресуемых логов. Это решение позволяет серверу корректно обрабатывать последовательные сообщения, сохраняя историю переписки между запросами. Такой подход обеспечивает совместимость с большинством клиентских библиотек и инструментов, которые ожидают стандартную структуру API чат-комплитов.

Использование данного сервера позволяет разработчикам запускать локальные модели, такие как Qwen 3.5, и обращаться к ним через стандартные HTTP-запросы. Это снижает зависимость от облачных провайдеров и упрощает локальную отладку агентных систем, требующих сохранения состояния диалога и работы с историей сообщений в рамках единого сеанса.

Ключевые факты

Релиз версии 0.1a0 обеспечивает поддержку API-интерфейса OpenAI Chat Completions для локальных моделей.
В основе работы лежит механизм контентно-адресуемых логов, представленный в LLM 0.32rc1.
Сервер позволяет расширять контекст диалога, передавая историю сообщений в теле запроса.
Инструмент ориентирован на разработчиков, использующих локальные LLM в качестве замены облачным API в агентных архитектурах.

Источник: Simon Willison's Weblog

Обсудить с ИИ

Похожие материалы

Simon Willison's Weblog · Разработка и инструменты Обновление CLI-инструмента LLM 0.31.1 Вышел релиз CLI-инструмента LLM версии 0.31.1, устраняющий критическую ошибку при работе с API OpenAI Chat Completion. Проблема возникала при передаче вызовов инструментов (tool calls) с пустыми аргументами, что приводило к сбоям парсинга JSON у ряда провайдеров. Обновление обеспечивает корректную обработку таких запросов, повышая стабильность взаимодействия с агентными функциями. Hacker News · Инференс и железо Практическое руководство по локальному запуску LLM через Llama.cpp Развертывание больших языковых моделей на собственном оборудовании становится доступнее благодаря оптимизациям в Llama.cpp. Инструмент позволяет запускать современные LLM на потребительском железе, эффективно используя ресурсы CPU и GPU. Это решение критически важно для задач, требующих приватности данных, снижения затрат на облачные API и обеспечения низкой задержки при работе с локальными агентными системами. Simon Willison's Weblog · Разработка и инструменты Релиз llm 0.32rc1: новая схема хранения данных и дедупликация сообщений Вышла предварительная версия CLI-инструмента llm 0.32rc1, внедряющая обновленную схему базы данных для работы с современными семействами моделей. Ключевым нововведением стало использование контентно-адресуемых хеш-идентификаторов для всех сохраненных сообщений. Это изменение обеспечивает автоматическую дедупликацию данных в хранилище и позволяет более эффективно управлять историей промптов и ответов, поступающих от различных LLM. Hacker News · Инфраструктура для агентов Local Motion: интеграция локальных LLM с редактором Cursor Local Motion — это инструмент, позволяющий подключать локальные языковые модели к среде разработки Cursor для работы с агентскими функциями и чатом. Решение обеспечивает приватность данных, позволяя выполнять вычисления на собственном оборудовании, сохраняя при этом функциональность продвинутых ИИ-ассистентов, которые ранее требовали отправки кода на внешние серверы через API. Hacker News · Инференс и железо Jan: open-source платформа для локального запуска LLM Jan — это open-source платформа, позволяющая запускать большие языковые модели локально на персональных компьютерах без необходимости подключения к облачным API. Инструмент предоставляет графический интерфейс для взаимодействия с моделями, обеспечивая приватность данных и независимость от сторонних провайдеров. Платформа поддерживает работу с различными архитектурами моделей, включая Llama, Mistral и другие популярные решения с открытым исходным кодом. Simon Willison's Weblog · Инфраструктура для агентов Релиз llm-coding-agent: эксперимент по созданию ИИ-кодера на базе агентного фреймворка Саймон Уиллисон представил версию 0.1a0 библиотеки llm-coding-agent, демонстрирующую возможности его обновленного фреймворка для построения ИИ-агентов. Инструмент предназначен для автоматизации написания кода и создания проектной документации через цепочки промптов. В основе лежит модульная архитектура, позволяющая агенту выполнять итеративные задачи разработки, начиная с формирования спецификаций и заканчивая генерацией программных модулей на языке Python. Hacker News · Инференс и железо Camelid: универсальный движок для локального запуска LLM на Rust Camelid — это новый инструмент для локального запуска больших языковых моделей, написанный на языке Rust. Проект обеспечивает высокую производительность и безопасность, предлагая единую кодовую базу для работы через терминал, веб-интерфейс, десктопное приложение или API. Решение ориентировано на разработчиков, которым требуется гибкая и быстрая инфраструктура для инференса моделей без обращения к облачным сервисам. Hacker News · Инференс и железо LocalInference: руководство по запуску LLM на собственном оборудовании LocalInference.io — это специализированная платформа и сообщество, аккумулирующие технические руководства по запуску больших языковых моделей на локальных вычислительных мощностях. Ресурс помогает разработчикам и энтузиастам подбирать аппаратное обеспечение, оптимизировать параметры инференса и настраивать среду выполнения для работы с open-source моделями без обращения к облачным API, обеспечивая полный контроль над данными и приватностью. Hacker News · Инфраструктура для агентов LLMaker: готовый стек для локального запуска LLM-приложений Проект LLMaker представляет собой набор инструментов для развертывания полноценного стека LLM на собственной инфраструктуре. Решение объединяет компоненты для работы с векторными базами данных, оркестрации запросов и управления контекстом, позволяя разработчикам быстро запускать локальные агентные системы без зависимости от проприетарных облачных API. Это упрощает создание приватных RAG-систем и автономных ИИ-сервисов с полным контролем над данными. Simon Willison's Weblog · Разработка и инструменты Вышел плагин llm-meta-ai для работы с моделью muse-spark-1.1 Вышел плагин llm-meta-ai версии 0.1, позволяющий интегрировать модель muse-spark-1.1 в экосистему CLI-инструмента LLM. Это обновление дает возможность разработчикам отправлять промпты к новой модели напрямую из командной строки, упрощая процесс тестирования и взаимодействия с ней в рамках локальных рабочих процессов и автоматизированных скриптов.

← Все материалы