Исследователи предложили двухсторонний критерий для проверки научных утверждений, выдвигаемых ИИ-системами. В отличие от стандартных бенчмарков, которые часто смешивают реальные прорывы с результатами простого перебора или адаптации к ошибкам оракула, новый метод вводит формально доказуемую «отрицательную сторону». Это позволяет отсеивать ложные открытия и верифицировать истинную новизну в автоматизированных научных исследованиях.
Проблема текущих систем ИИ для науки заключается в том, что они часто демонстрируют прогресс за счет оптимизации под конкретные метрики, а не за счет генерации фундаментально новых знаний. Авторы работы фокусируются на разграничении реального научного вклада и артефактов, возникающих из-за несовершенства верификаторов или чрезмерного поиска в пространстве параметров. Предложенный подход опирается на формальные доказательства, что делает процесс аудита более строгим.
В качестве примера авторы приводят задачу о псевдоузлах в структуре РНК. Они доказывают, что определенные классы оракулов принципиально не способны представить пересекающиеся связи, что создает математическую базу для проверки того, действительно ли ИИ совершил открытие или просто «подогнал» результат под ограничения своей архитектуры. Такой подход задает новый стандарт для оценки автономных научных агентов.
Ключевые факты
- Разработан двухсторонний критерий аудита, позволяющий математически отделить реальные научные открытия от статистических артефактов.
- Метод решает проблему «ложных успехов», вызванных адаптацией к несовершенным оракулам или избыточным поиском.
- В работе представлено формальное доказательство невозможности представления определенных структур (пересекающихся связей) для конкретных классов оракулов.
- Предложенный подход направлен на повышение надежности ИИ-систем, занимающихся самообучением и генерацией новых гипотез в естественных науках.