Hacker News · 14.07.2026 ·Разработка и инструменты

Halley: автоматизация регрессионного тестирования LLM на основе реального трафика

Инструмент Halley позволяет преобразовывать реальный производственный трафик LLM-приложений в автоматизированные регрессионные тесты для CI/CD. Решение захватывает входящие запросы и соответствующие ответы модели, сохраняя их в качестве эталонных данных. Это позволяет разработчикам автоматически проверять корректность работы системы после внесения изменений в промпты или архитектуру, минимизируя ручное тестирование.

Основная задача системы — обеспечить воспроизводимость результатов при обновлении моделей или изменении системных инструкций. Вместо создания синтетических наборов данных, Halley использует накопленные логи взаимодействия с пользователями, что делает тесты более релевантными реальным сценариям использования. Инструмент интегрируется в процесс разработки, позволяя отслеживать деградацию качества ответов на ранних этапах.

Использование реальных данных из продакшена помогает выявлять краевые случаи, которые сложно предусмотреть при написании статических тестов. Система поддерживает версионирование наборов данных, что упрощает сравнение производительности различных итераций модели. Такой подход сокращает время на отладку и повышает надежность агентных систем при частых обновлениях.

Ключевые факты

Halley автоматически конвертирует логи LLM-запросов в набор тестов для CI/CD-пайплайнов.
Инструмент ориентирован на снижение затрат на ручное тестирование и проверку регрессий при изменении промптов.
Система использует реальные данные из продакшена, обеспечивая высокую точность проверки в условиях реальных пользовательских сценариев.
Проект доступен в формате open-source на GitHub для интеграции в существующие процессы разработки.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов Halyard: open-source система учета затрат и времени для ИИ-разработки Halyard — это инструмент с открытым исходным кодом, предназначенный для отслеживания ресурсов при разработке ИИ-приложений. Система фиксирует время работы, количество затраченных токенов и финансовые расходы, позволяя разработчикам и командам прозрачно мониторить стоимость инференса и API-запросов. Решение помогает автоматизировать биллинг и анализировать эффективность использования моделей в агентных системах. Hacker News · Разработка и инструменты Как бороться с избыточностью при тестировании LLM-приложений Разработчики сталкиваются с проблемой «тестового спама» при создании приложений на базе LLM, когда количество автоматических проверок растет бесконтрольно, замедляя пайплайны и увеличивая расходы на инференс. Статья предлагает стратегический подход к оптимизации тестового покрытия, фокусируясь на качестве семантических проверок вместо массовой генерации однотипных сценариев, что позволяет сохранять надежность системы без лишних затрат ресурсов. Hacker News · Инфраструктура для агентов Инструментарий для управления промптами и инфраструктурой LLM Разработчики представили open-source инструментарий для управления промптами, призванный упростить жизненный цикл работы с LLM. Решение позволяет централизованно версионировать промпты, проводить A/B-тестирование различных версий и отслеживать метрики производительности в реальном времени. Это помогает командам быстрее итерировать модели, снижая сложность интеграции языковых моделей в продакшн-системы и агентные архитектуры. Hacker News · Разработка и инструменты Standards that are code: замена LLM-инференса на детерминированные проверки Концепция «Standards that are code» предлагает пересмотреть подход к валидации данных и соблюдению стандартов в ИИ-системах. Вместо использования вероятностных LLM для проверки соответствия форматам, предлагается внедрять строгие детерминированные программные проверки. Это позволяет исключить галлюцинации при обработке структурированных данных, повысить предсказуемость пайплайнов и снизить затраты на инференс за счет отказа от тяжелых моделей там, где достаточно алгоритмической логики. Hacker News · Инфраструктура для агентов Инструмент для распределенного трейсинга LLM и привязки к GitHub Представлен инструмент с открытым исходным кодом для распределенного отслеживания цепочек вызовов LLM, который позволяет связывать логи выполнения с конкретными Pull Request и Issue в GitHub. Решение упрощает отладку сложных агентных систем, обеспечивая прозрачность взаимодействия между кодом и поведением модели в распределенной среде разработки. Hacker News · Разработка и инструменты Инструмент для автоматического тестирования кода, генерируемого ИИ Проект Api-doctor предлагает набор из более чем 110 тестов для проверки кода, созданного с помощью LLM при работе с популярными API, такими как Supabase и Auth0. Решение направлено на автоматизацию контроля качества интеграций, помогая разработчикам выявлять ошибки в сгенерированных вызовах API и конфигурациях до их внедрения в продакшн-среду. Hacker News · Разработка и инструменты Инструмент LLM-mock для тестирования API-вызовов в pytest Библиотека LLM-mock позволяет записывать и воспроизводить ответы от API OpenAI и Anthropic в рамках unit-тестирования на pytest. Инструмент решает проблему дороговизны и нестабильности реальных запросов к LLM при разработке, позволяя разработчикам создавать детерминированные тесты на основе зафиксированных ответов моделей, что значительно ускоряет цикл CI/CD и снижает затраты на токены. Hacker News · ИИ в бизнесе Использование Claude для автоматизации сквозного тестирования веб-приложений Разработчик протестировал возможности модели Claude в создании автоматизированных сценариев сквозного (E2E) тестирования для клона платформы Airbnb. Эксперимент показал, что LLM способна генерировать рабочий код тестов на базе Playwright, значительно сокращая время на написание рутинных проверок пользовательских путей, таких как авторизация, поиск жилья и процесс бронирования, при минимальной корректировке со стороны инженера. Hacker News · Инфраструктура для агентов Автоматическая маршрутизация запросов для оптимизации стоимости и скорости LLM Компания Factory представила инструмент для автоматической маршрутизации запросов между различными языковыми моделями. Система в режиме реального времени анализирует входящие задачи и перенаправляет их на наиболее подходящую модель, исходя из заданных параметров стоимости и времени отклика. Такой подход позволяет компаниям снизить расходы на API, не жертвуя качеством ответов в критически важных сценариях. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности.

← Все материалы