Компания Nous Research анонсировала архитектуру Mixture-of-Agents (MoA), позволяющую объединять несколько специализированных языковых моделей для достижения более высоких результатов. Согласно бенчмаркам, система демонстрирует значительный прирост производительности по сравнению с ведущими проприетарными моделями, превосходя показатели Claude 3 Opus на 8% и GPT-4o на 11% в ряде ключевых задач, что подтверждает эффективность агентного подхода к генерации ответов.

Метод Mixture-of-Agents основан на иерархической структуре, где несколько моделей-агентов параллельно генерируют ответы на один и тот же запрос. Затем «модель-агрегатор» анализирует полученные данные и синтезирует финальный, более точный результат. Такой подход позволяет использовать сильные стороны каждой отдельной модели, минимизируя галлюцинации и повышая логическую связность итогового текста.

Использование MoA открывает новые возможности для оптимизации качества ответов без необходимости дообучения огромных монолитных моделей. Вместо этого разработчики могут комбинировать уже существующие open-source решения, выстраивая эффективные пайплайны, которые превосходят по метрикам закрытые системы. Это решение подчеркивает тренд на переход от использования одной универсальной модели к оркестрации множества специализированных агентов.

Ключевые факты

  • Архитектура MoA показала превосходство над Claude 3 Opus на 8% в стандартных бенчмарках.
  • Прирост точности по сравнению с GPT-4o составил 11%.
  • Система использует иерархический подход с распределением ролей между агентами-генераторами и моделью-агрегатором.
  • Метод позволяет повысить качество ответов за счет агрегации знаний нескольких моделей без необходимости их полного переобучения.