Автор финансового бюллетеня MarketDaily реализовал архитектуру «совета моделей», где девять различных LLM совместно работают над созданием контента. Система использует разделение ролей: одни модели отвечают за сбор данных и анализ, другие — за написание текста, а третьи выступают в роли критиков и редакторов, обеспечивая проверку фактов и стилистическое соответствие перед финальной публикацией.
Основная сложность такой многоагентной системы заключается в управлении контекстом и стоимости инференса. Разработчик столкнулся с проблемой «галлюцинаций» при агрегации финансовых данных, что потребовало внедрения жестких пайплайнов валидации на каждом этапе. Использование нескольких моделей позволяет минимизировать ошибки, присущие одной конкретной архитектуре, за счет перекрестной проверки выводов.
Масштабирование подобного подхода требует четкой оркестрации, где каждая модель имеет узкую специализацию. В процессе эксплуатации выяснилось, что наиболее критичным звеном является этап «судейства», где модель-редактор должна обладать высокой способностью к логическому выводу, чтобы отсеивать неверные финансовые показатели, сгенерированные моделями-авторами.
Ключевые факты
- Система объединяет девять различных LLM для выполнения полного цикла подготовки контента.
- Основной упор сделан на разделение этапов генерации, фактчекинга и стилистической редактуры.
- Главная техническая проблема — рост стоимости токенов и задержки при последовательной обработке запросов.
- Использование «совета» моделей позволило снизить количество фактических ошибок по сравнению с использованием одной универсальной LLM.
- Архитектура требует сложной системы промптов для каждой роли, чтобы избежать конфликтов между моделями-участниками.