Hacker News · 13.07.2026 ·Разработка и инструменты

Инструмент LLM-mock для тестирования API-вызовов в pytest

Библиотека LLM-mock позволяет записывать и воспроизводить ответы от API OpenAI и Anthropic в рамках unit-тестирования на pytest. Инструмент решает проблему дороговизны и нестабильности реальных запросов к LLM при разработке, позволяя разработчикам создавать детерминированные тесты на основе зафиксированных ответов моделей, что значительно ускоряет цикл CI/CD и снижает затраты на токены.

Принцип работы утилиты основан на перехвате сетевых вызовов к популярным провайдерам ИИ-моделей. При первом запуске теста библиотека сохраняет ответ модели в локальный файл-заглушку (mock), а при последующих прогонах использует этот файл вместо обращения к удаленному серверу. Это исключает зависимость от аптайма внешних сервисов и позволяет тестировать логику обработки ответов в изолированной среде.

Инструмент ориентирован на разработчиков, которые интегрируют LLM в сложные агентные системы или пайплайны обработки данных. Использование заглушек позволяет проверять корректность парсинга JSON, работу с контекстом и обработку ошибок без необходимости каждый раз отправлять запросы в облако, что критично для отладки сложных цепочек вызовов.

Ключевые факты

Поддержка основных API-провайдеров: OpenAI и Anthropic.
Полная интеграция с фреймворком pytest через систему фикстур.
Автоматическое создание файлов-заглушек при первом выполнении теста.
Исключение расходов на токены при повторном запуске тестового набора.
Обеспечение детерминизма тестов за счет фиксации ответов модели.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Разработка и инструменты Инструмент для автоматического тестирования кода, генерируемого ИИ Проект Api-doctor предлагает набор из более чем 110 тестов для проверки кода, созданного с помощью LLM при работе с популярными API, такими как Supabase и Auth0. Решение направлено на автоматизацию контроля качества интеграций, помогая разработчикам выявлять ошибки в сгенерированных вызовах API и конфигурациях до их внедрения в продакшн-среду. Hacker News · Инфраструктура для агентов LLM-Tools: стандартизация инструментов для ИИ-агентов Проект LLM-Tools предлагает унифицированный подход к управлению наборами инструментов для ИИ-агентов, работая по аналогии с файлом requirements.txt в Python. Библиотека позволяет разработчикам декларативно описывать доступные функции и их зависимости, упрощая процесс интеграции внешних API и локальных скриптов в агентные системы, обеспечивая предсказуемость их поведения и упрощая управление средой выполнения. Hacker News · Инфраструктура для агентов Atuin AI Proxy: прокси-сервер для управления API-запросами к LLM Atuin AI Proxy — это специализированный прокси-сервер, предназначенный для централизованного управления API-запросами к различным языковым моделям. Инструмент позволяет агрегировать обращения к разным провайдерам, обеспечивая единую точку доступа, контроль над расходами и мониторинг трафика. Решение ориентировано на разработчиков, которым необходимо стандартизировать взаимодействие с LLM в рамках агентных систем и сложных приложений. Hacker News · Инференс и железо Запуск LLM через минималистичный Python CLI с помощью Flama Команда Flama представила инструмент командной строки для упрощенного развертывания больших языковых моделей. Решение позволяет запускать инференс LLM с минимальными настройками, минимизируя количество зависимостей и конфигурационных файлов. Инструмент ориентирован на разработчиков, которым требуется быстрый способ организации API для локальных или облачных моделей без использования тяжеловесных фреймворков и сложных систем оркестрации. Hacker News · Инфраструктура для агентов Sturnus: прокси-маршрутизатор для оптимизации запросов к LLM Sturnus — это прокси-сервер с поддержкой API OpenAI, предназначенный для динамической маршрутизации запросов между различными языковыми моделями. Инструмент позволяет автоматически направлять вызовы к наиболее быстрому или доступному провайдеру в зависимости от текущей нагрузки и времени отклика. Это решение помогает разработчикам снизить задержки при работе с LLM и повысить отказоустойчивость систем, использующих внешние API. Hacker News · Инфраструктура для агентов Moa: инструмент для перекрестной проверки ответов LLM в CLI Moa — это CLI-инструмент, который внедряет механизм перекрестной проверки (peer review) в рабочий процесс локальных ИИ-агентов. Система позволяет использовать несколько LLM для анализа одного запроса: одна модель генерирует ответ, а другие выступают в роли рецензентов, оценивая качество, точность и логику вывода, что помогает минимизировать галлюцинации и повысить надежность агентных систем. Hacker News · Инфраструктура для агентов Mantis: self-hosted шлюз для управления LLM-запросами Mantis — это open-source решение для централизованного управления запросами к языковым моделям. Инструмент выступает в роли шлюза, позволяя разработчикам объединять различные LLM-провайдеры в единую инфраструктуру. Система обеспечивает контроль над трафиком, мониторинг использования токенов и управление доступом, что упрощает масштабирование агентных систем и интеграцию локальных или облачных моделей в корпоративные приложения. Hacker News · Инфраструктура для агентов Оптимизация затрат на LLM через динамическую маршрутизацию запросов Разработан инструмент для автоматической маршрутизации запросов к языковым моделям на основе их стоимости и производительности. Система анализирует входящий промпт и выбирает наиболее экономически эффективную модель, способную справиться с конкретной задачей. Решение интегрируется с библиотеками PydanticAI и LiteLLM, что позволяет разработчикам внедрять логику выбора провайдера непосредственно в пайплайны обработки данных. Hacker News · Оркестрация агентов LLM Colosseum: браузерная RTS для тестирования tool calling у LLM LLM Colosseum — это легковесная браузерная стратегия в реальном времени, созданная для оценки способностей языковых моделей к вызову внешних инструментов (tool calling). Проект позволяет тестировать, как агенты управляют юнитами и ресурсами в динамической среде, предоставляя разработчикам наглядный способ сравнить эффективность различных LLM в задачах планирования и исполнения команд без сложных зависимостей. Hacker News · Разработка и инструменты Как бороться с избыточностью при тестировании LLM-приложений Разработчики сталкиваются с проблемой «тестового спама» при создании приложений на базе LLM, когда количество автоматических проверок растет бесконтрольно, замедляя пайплайны и увеличивая расходы на инференс. Статья предлагает стратегический подход к оптимизации тестового покрытия, фокусируясь на качестве семантических проверок вместо массовой генерации однотипных сценариев, что позволяет сохранять надежность системы без лишних затрат ресурсов.

← Все материалы