На платформе Kaggle разгорелся спор вокруг результатов конкурса «Measuring AGI», организованного при поддержке DeepMind. Победившая работа, получившая главный приз в 25 000 долларов, была обвинена сообществом в использовании низкокачественного сгенерированного контента (AI slop). Участники указывают на отсутствие глубокой методологии и содержательную пустоту представленного решения, что ставит под вопрос эффективность текущих подходов к оценке ИИ-систем.
Критику вызвал тот факт, что конкурс, целью которого было создание инструментов для измерения уровня интеллекта моделей, был выигран с помощью методов, которые сами по себе являются продуктом генеративного ИИ без должной научной проработки. Пользователи Kaggle отмечают, что представленный код и текстовые пояснения выглядят как результат работы LLM, не несущий реальной ценности для развития области оценки AGI.
Ситуация обнажила проблему «инфляции» в соревнованиях по анализу данных. Когда участники начинают использовать генеративные модели для автоматического создания ответов, качество и валидность бенчмарков резко снижаются. Это создает риск того, что метрики, предназначенные для проверки способностей ИИ, начинают оценивать лишь способность моделей имитировать экспертную деятельность, а не реальные когнитивные навыки.
Ключевые факты
- Призовой фонд конкурса «Measuring AGI» на Kaggle составил 25 000 долларов США.
- Организатором конкурса выступила компания DeepMind, специализирующаяся на исследованиях в области искусственного интеллекта.
- Сообщество Kaggle классифицировало победившую работу как «AI slop» — контент, созданный ИИ без существенной интеллектуальной обработки или проверки фактов.
- Основная претензия участников заключается в отсутствии оригинальной методологии и научной глубины в решении, занявшем первое место.
- Дискуссия вокруг результатов конкурса подчеркивает растущую сложность верификации решений в соревнованиях по Data Science в эпоху широкой доступности генеративных моделей.