Hacker News · 18.06.2026 ·Оркестрация агентов

Maslul: интеллектуальный роутер для выбора оптимальной LLM

Разработчики представили Maslul — инструмент для динамической маршрутизации запросов между различными языковыми моделями. Система анализирует входящий запрос и автоматически определяет, какая модель справится с задачей наиболее эффективно, учитывая баланс между качеством ответа, скоростью генерации и стоимостью вычислений.

Основная задача проекта — оптимизация затрат при работе с API крупных провайдеров. Вместо использования одной универсальной модели для всех типов задач, Maslul позволяет направлять простые запросы к более дешевым и быстрым моделям, а сложные логические или творческие задачи — к флагманским решениям. Это снижает общую нагрузку на инфраструктуру и уменьшает расходы на биллинг без потери качества итогового результата.

Инструмент интегрируется в существующие пайплайны через единый интерфейс вызова, скрывая сложность выбора модели от конечного приложения. Такая архитектура упрощает масштабирование агентных систем, позволяя гибко переключаться между вендорами и версиями моделей по мере их обновления или изменения ценовой политики провайдеров.

Источник: Hacker News

Похожие материалы

Hacker News · Инфраструктура для агентов Автоматическая маршрутизация запросов для оптимизации стоимости и скорости LLM Компания Factory представила инструмент для автоматической маршрутизации запросов между различными языковыми моделями. Система в режиме реального времени анализирует входящие задачи и перенаправляет их на наиболее подходящую модель, исходя из заданных параметров стоимости и времени отклика. Такой подход позволяет компаниям снизить расходы на API, не жертвуя качеством ответов в критически важных сценариях. Hacker News · Инфраструктура для агентов Оптимизация затрат на ИИ через маршрутизацию задач между моделями Разработчики представили плагин для Claude Code, который внедряет систему интеллектуальной маршрутизации запросов. Инструмент анализирует сложность поступающих задач и автоматически перенаправляет простые операции на специализированные компактные языковые модели (SLM), оставляя ресурсоемкие процессы для более мощных систем. Hacker News · Оценка и бенчмарки Models Pie: визуализация баланса скорости, цены и качества LLM Сервис Models Pie представил интерактивный инструмент для сравнения популярных языковых моделей на основе трех ключевых метрик: скорости генерации, стоимости токенов и качества ответов. Платформа агрегирует данные о производительности актуальных LLM, позволяя разработчикам и бизнесу подбирать оптимальное решение под конкретные задачи, где критически важен баланс между затратами на инференс и временем отклика. Hacker News · Инфраструктура для агентов AptSelect: инструмент для параллельного тестирования и оценки локальных LLM Вышел AptSelect — клиент для локального запуска и тестирования больших языковых моделей. Инструмент ориентирован на разработчиков, которым необходимо проводить параллельную оценку нескольких моделей или различных конфигураций промптов в одной среде. Основная задача платформы заключается в упрощении процесса сравнения ответов моделей, что критически важно при выборе подходящего движка для конкретных агентных задач. Hacker News · Инфраструктура для агентов Lightpanda представила подход к выполнению LLM на этапе сборки Команда Lightpanda анонсировала инструмент Lightpanda Agent и язык PandaScript, предлагающие перенос логики работы с большими языковыми моделями с этапа выполнения (runtime) на этап сборки (buildtime). Основная идея заключается в том, чтобы выполнять вызовы LLM и обработку данных до того, как приложение будет развернуто, превращая динамические агентные процессы в статический код. Это позволяет избежать задержек при генерации ответов и снизить затраты на API в продакшене. Hacker News · Оркестрация агентов Brick: новый фреймворк для маршрутизации LLM Исследователи представили Brick — фреймворк для маршрутизации запросов между различными языковыми моделями (LLM). В отличие от традиционных подходов, Brick использует динамическое распределение задач, что позволяет значительно повысить точность и эффективность обработки запросов. Hacker News · Бизнес и инвестиции Wattfare — API для LLM с оплатой от пользователей Wattfare представляет собой новый подход к биллингу для языковых моделей. В отличие от традиционных моделей, где разработчики платят за использование API, здесь оплату вносят конечные пользователи. Это может изменить экономику взаимодействия с ИИ-агентами, сделав их более доступными для разработчиков. Hacker News · Инфраструктура для агентов SillyTavern объединяет API разных LLM в один интерфейс SillyTavern — это открытый проект, который предоставляет единый интерфейс для работы с API различных языковых моделей. Это позволяет разработчикам и пользователям взаимодействовать с разными LLM через одну платформу, упрощая интеграцию и управление моделями. Hacker News · Оркестрация агентов FusionHarness: сервер для объединения нескольких LLM в систему Mixture-of-Agents FusionHarness представляет собой open-source решение для реализации архитектуры Mixture-of-Agents (MoA). Этот инструмент позволяет объединять несколько различных языковых моделей в единую систему, где каждая модель выполняет свою часть задачи, а итоговый ответ формируется на основе их совместной работы. Такой подход направлен на повышение качества генерации за счет использования сильных сторон разных архитектур и перекрестной проверки результатов. Hacker News · Оркестрация агентов Новый фреймворк для консультации агентов с другими моделями Разработчики из Rainе представили фреймворк Consult-LLM, который позволяет ИИ-агентам консультироваться с другими языковыми моделями. Это решение может значительно расширить возможности агентов, предоставляя им доступ к знаниям и экспертизе различных моделей.

← Все материалы