Исследователь Microsoft продемонстрировал необычный подход к анализу современной научной литературы в области искусственного интеллекта, создав работающую нейронную сеть внутри редактора карт стратегии Age of Empires II. В качестве «нейронов» и связей в этой системе выступили игровые объекты: козы, мосты и ледяные рампы. Этот проект стал визуальной метафорой для критики текущих методов оценки больших языковых моделей.
В ходе работы был проведен мета-анализ 315 научных публикаций, посвященных ИИ. Выяснилось, что более половины авторов закладывают в свои исследования предположение о наличии у моделей человекоподобных когнитивных черт еще до начала экспериментов. По мнению автора, использование игровых механик для имитации нейросети наглядно показывает, как легко исследователи могут приписывать сложным системам антропоморфные качества, основываясь лишь на интерпретации выходных данных.
Подобная работа подчеркивает проблему предвзятости в академической среде, где стремление доказать наличие у ИИ «разума» или «сознания» зачастую превалирует над объективной оценкой алгоритмических процессов. Использование метафоры с виртуальными козами служит напоминанием о необходимости более строгого разграничения между статистической предсказательной способностью моделей и их реальными когнитивными характеристиками.