Исследователи представили теоретическую модель для оценки надежности каскадных систем верификации в LLM, где ответ принимается только после прохождения $k$ проверок. В отличие от моделей с независимыми верификаторами, новая работа учитывает частичную корреляцию между ними, описывая динамику логарифмических шансов через вогнутые функции и полиномиальную надежность, что позволяет точнее прогнозировать «слепые зоны» алгоритмов.

В современных агентных системах каскадная верификация используется для фильтрации галлюцинаций и повышения точности ответов. Однако на практике верификаторы часто коррелируют друг с другом, что ограничивает эффективность простого увеличения их количества. Авторы доказывают, что при наличии корреляции экспоненциальное снижение вероятности ошибки, предсказываемое «Законом шансов» (Odds Law) для независимых систем, перестает работать, уступая место более медленному полиномиальному росту надежности.

Работа вводит понятие «потолка слепых зон» (blind-spot ceilings), который ограничивает предельную точность системы независимо от количества добавленных проверочных узлов. Это фундаментальное ограничение объясняет, почему даже многократное дублирование проверок не гарантирует полного устранения ошибок в сложных задачах рассуждения. Полученные выводы позволяют разработчикам оптимизировать архитектуру пайплайнов, отказываясь от избыточных верификаторов в пользу более качественных, но менее коррелирующих моделей.

Ключевые факты

  • Модель описывает поведение каскадов, где ответ принимается только при успешном прохождении всех $k$ проверок.
  • Установлено, что частичная корреляция между верификаторами превращает экспоненциальное снижение ошибок в полиномиальное.
  • Введено понятие «потолка слепых зон», определяющего предел надежности, который невозможно преодолеть простым увеличением числа проверок.
  • Теория предлагает математический аппарат для оценки эффективности систем с несколькими агентами-верификаторами.
  • Исследование дополняет существующий «Закон шансов» (Odds Law), адаптируя его для условий реальных LLM-систем с зависимыми компонентами.