Исследование показывает, что создание «комитета» из нескольких копий одной и той же LLM не приводит к существенному улучшению результатов по сравнению с одиночным запросом. Несмотря на популярность стратегий голосования и ансамблирования, идентичные модели склонны совершать одни и те же логические ошибки, что нивелирует пользу от многократных попыток решения задачи.
Основная проблема заключается в отсутствии разнообразия в процессах рассуждения. Когда несколько агентов с одинаковыми весами и системными промптами анализируют задачу, они попадают в одни и те же когнитивные ловушки. Автор отмечает, что для реального повышения качества ответов через агентные системы необходимо внедрять вариативность: использовать разные модели, настраивать различные системные инструкции или применять методы, которые принудительно диверсифицируют ход мыслей агентов.
Вместо простого дублирования вызовов, эффективные архитектуры должны фокусироваться на создании «когнитивного разнообразия». Это может включать использование различных температурных режимов, использование разных семейств моделей или применение техник, где агенты играют разные роли (например, критика и генератора), что позволяет выявлять ошибки, которые пропускает одна модель при работе в одиночку.
Ключевые факты
- Использование идентичных агентов в ансамбле не устраняет систематические ошибки модели.
- Вероятность успеха при голосовании нескольких копий одной модели ограничена её базовой способностью к рассуждению.
- Для повышения точности требуется диверсификация: использование разных моделей или изменение параметров системного промпта.
- Метод «комитета» эффективен только при наличии независимых источников ошибок, чего невозможно достичь при копировании одного и того же весового файла.