Исследователи представили Agon — метод обучения с подкреплением, где две модели выступают взаимными оценщиками процесса рассуждения друг друга. В отличие от стандартных подходов, оценивающих только итоговый ответ, Agon анализирует цепочку логических шагов. Это позволяет моделям учиться качественному мышлению, а не просто увеличивать объем текста в попытке угадать правильный результат в сложных задачах.
Современные методы обучения, такие как GRPO, часто сталкиваются с проблемой «пустого многословия»: модель генерирует длинные рассуждения, чтобы максимизировать вероятность получения награды, не улучшая при этом логическую глубину. Agon решает эту задачу, внедряя механизм неявного ранжирования соперника. В процессе обучения одна модель оценивает корректность и логичность шагов другой, что создает динамическую среду для развития навыков верификации.
Такой подход позволяет эффективно использовать вычислительные ресурсы, превращая процесс генерации в соревновательную игру. Модели учатся не только находить верный ответ, но и выявлять ошибки в промежуточных выводах, что критически важно для задач, где результат невозможно проверить простым сравнением с эталоном. Метод открывает путь к созданию более надежных систем, способных к самокоррекции и глубокому анализу данных.
Ключевые факты
- Agon переходит от оценки только финального ответа к оценке промежуточных шагов рассуждения.
- Метод использует конкуренцию двух моделей для взаимной оценки качества логических цепочек.
- Технология направлена на устранение проблемы избыточного текста, который не несет смысловой нагрузки при обучении.
- Подход позволяет обучать модели рассуждению в задачах, где отсутствует явный проверяемый ответ на каждом этапе.