Исследователи представили метод CoBa (Compute-Balanced Routing), который оптимизирует распределение вычислительных ресурсов при выполнении сложных задач ИИ. Вместо фиксированного увеличения глубины рассуждений или количества попыток, система динамически решает, куда направить следующий блок вычислений: на генерацию новых вариантов ответов или на их проверку, что позволяет достичь более высокой точности при ограниченном бюджете инференса.
Традиционные подходы к масштабированию во время тестирования (test-time scaling) часто страдают от неэффективного использования ресурсов, когда вычислительная мощность тратится на избыточную генерацию или чрезмерно сложную оценку. CoBa рассматривает этот процесс как задачу распределения ресурсов, где система в реальном времени оценивает полезность каждого шага, балансируя между качеством генерации и надежностью верификации.
Данный подход позволяет значительно снизить затраты на инференс в агентных системах, где цепочки рассуждений (Chain-of-Thought) могут быть неоправданно длинными. Алгоритм маршрутизации динамически переключает вычислительный поток, обеспечивая оптимальное соотношение между стоимостью запроса и качеством итогового результата, что критически важно для масштабируемых производственных сред.
Ключевые факты
- Метод CoBa переводит задачу масштабирования рассуждений в плоскость динамического распределения вычислительного бюджета.
- Система принимает решение о выборе между генерацией новых решений и применением более сильного оценщика на каждом шаге.
- Подход позволяет избежать «вычислительного перекоса», когда ресурсы тратятся на неэффективные ветки рассуждений.
- Технология ориентирована на снижение стоимости инференса при сохранении высокой точности ответов в сложных агентных сценариях.