Hacker News · 06.07.2026 ·Исследования и наука

Концепция Red Queen Gödel Machine: коэволюция агентов и их оценщиков

Исследователи представили концепцию «Машины Гёделя Красной Королевы» — архитектуры, в которой ИИ-агенты и их системы оценки развиваются совместно. Этот подход направлен на решение проблемы стагнации при обучении, заставляя агентов постоянно адаптироваться к усложняющимся критериям качества, что позволяет преодолеть ограничения традиционных методов оптимизации и достичь более высокого уровня автономности в сложных задачах.

В основе метода лежит принцип «гонки вооружений», где агент пытается оптимизировать свою производительность, а система оценки (evaluator) непрерывно совершенствует свои метрики, чтобы выявлять новые способы обхода правил или неэффективные стратегии. Такая динамическая среда предотвращает «застревание» модели в локальных минимумах, характерное для статических бенчмарков.

Авторы подчеркивают, что данный подход особенно эффективен для задач, где нет заранее заданного идеального решения. Вместо фиксированного набора данных для обучения система использует итеративный цикл, в котором агент и оценщик взаимно подстегивают прогресс друг друга, имитируя эволюционные процессы в биологических системах.

Ключевые факты

Архитектура основана на принципе коэволюции, где агент и оценщик выступают как два противоборствующих игрока.
Метод направлен на устранение проблемы «пресыщения» (saturation) при обучении, когда модель перестает улучшать результаты на фиксированных тестах.
Система использует механизмы самореференции, позволяющие агенту анализировать и изменять собственные алгоритмы принятия решений.
Исследование предлагает новый способ борьбы с «галлюцинациями» и оптимизацией «на результат» (reward hacking) за счет усложнения требований к качеству ответов в процессе обучения.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение Влияние ИИ-агентов на развитие компиляторов машинного обучения Развитие ИИ-агентов ставит под вопрос традиционные подходы к проектированию компиляторов для машинного обучения. Вместо жестких иерархических структур, оптимизирующих код под конкретное железо, на первый план выходят адаптивные системы, способные самостоятельно перестраивать графы вычислений и динамически подбирать стратегии исполнения, что меняет парадигму взаимодействия программного обеспечения с аппаратными ускорителями. Hacker News · Оркестрация агентов Концепция самообучающегося агента на базе моделей мира для написания кода Исследователи представили концепцию агента, способного к самосовершенствованию через построение «модели мира» для генерации и отладки кода. Система использует итеративный цикл, в котором агент не просто пишет программы, но и предсказывает результаты их выполнения, корректируя свои внутренние алгоритмы на основе полученной обратной связи, что позволяет повысить точность решения сложных инженерных задач без участия человека. arXiv · Оценка и бенчмарки EvoPolicyGym: новый стандарт для оценки автономной эволюции ИИ-агентов Исследователи представили EvoPolicyGym — специализированную среду для тестирования способности ИИ-агентов самостоятельно улучшать исполняемые политики через итеративную обратную связь. В отличие от стандартных тестов, фокусирующихся на финальном результате, этот фреймворк изолирует процесс модификации кода агентом, позволяя количественно оценивать прогресс в обучении и адаптации системы в контролируемых интерактивных условиях. arXiv · Машинное обучение Мультиагентные системы для многокритериальной оптимизации в динамических средах Исследователи представили новый подход к решению задач оптимизации в вычислительных и сетевых системах с помощью мультиагентных систем. Традиционные методы обучения с подкреплением часто сводят сложные задачи к минимизации единого скалярного вознаграждения, используя штрафные коэффициенты для учета ограничений. Однако такой подход оказывается недостаточно гибким в динамических условиях, где требования к производительности и затратам постоянно меняются. Hacker News · Оркестрация агентов Методология ревью кода, написанного ИИ-агентами Разработка сложных агентных систем требует перехода от модели «запустил и забыл» к строгому контролю качества кода, генерируемого моделями. Основная проблема заключается в том, что агенты часто создают рабочие, но архитектурно слабые решения, которые сложно поддерживать в долгосрочной перспективе. Для решения этой задачи внедряется многоуровневый процесс проверки, где человек выступает в роли архитектора, анализирующего логику выполнения задач и структуру создаваемых модулей. arXiv · Машинное обучение Фреймворк для распределения вознаграждений в кооперативных ИИ-системах Исследователи представили методологию распределения наград в кооперативных ИИ-системах, где агенты действуют от лица пользователей. Новый подход внедряет механизм «ценностно-обусловленной фильтрации градиентов», который позволяет учитывать индивидуальные этические ограничения каждого участника при обновлении глобальных моделей. Это обеспечивает прозрачность вклада данных и гарантирует, что обучение системы соответствует заданным профилям ценностей всех вовлеченных сторон. Hacker News · Исследования и наука Исследование OpenAI: переход от простых LLM к агентным системам Анализ данных платформы Codex демонстрирует фундаментальный сдвиг в использовании ИИ: разработчики всё чаще делегируют моделям выполнение многошаговых задач. Вместо разовых запросов пользователи переходят к агентным паттернам, где ИИ самостоятельно планирует действия и взаимодействует с внешними инструментами. Это меняет требования к архитектуре моделей, смещая фокус с генерации текста на надежность выполнения последовательных операций. arXiv · Оркестрация агентов Новый метод обучения агентов для работы с графическими интерфейсами Исследователи представили подход к обучению агентов (Computer-Use Agents), способных выполнять задачи в графических интерфейсах через подкрепляющее обучение. Основная проблема — отсутствие масштабируемых сигналов вознаграждения в десктопных средах — решена с помощью системы автономной оценки. Это позволяет агентам обучаться достижению целей, опираясь на визуальное подтверждение успеха без необходимости ручной разметки данных или создания сложных функций вознаграждения. Hacker News · Прогнозы и тренды Эволюция агентного ИИ: от чат-ботов к автономным системам Исследователи MIT проанализировали текущее состояние агентного ИИ, выделив переход от простых чат-интерфейсов к системам, способным к долгосрочному планированию и выполнению многоэтапных задач. Основной фокус смещается с генерации текста на способность агентов самостоятельно принимать решения, использовать внешние инструменты и корректировать свои действия для достижения сложных целей в реальных бизнес-процессах. arXiv · Машинное обучение Почему обучение с подкреплением для ИИ-агентов приводит к деградации моделей Исследователи выявили причину «катастрофического коллапса» при обучении LLM использованию инструментов через Reinforcement Learning (RL). В ходе многошаговых задач модели часто теряют способность корректно вызывать функции, что ведет к резкому падению производительности. Авторы работы предложили метод внедрения дополнительных контролирующих сигналов, который стабилизирует процесс обучения и предотвращает разрушение агентных навыков в сложных сценариях.

← Все материалы