Исследователи выяснили, что научные работы, полностью написанные с помощью ИИ, успешно проходят процесс рецензирования на престижных конференциях по компьютерной лингвистике (ACL), при этом эксперты не могут отличить их от работ, написанных людьми. В ходе эксперимента сгенерированные тексты получили оценки, сопоставимые с реальными научными публикациями, что ставит под вопрос надежность текущих механизмов академического контроля качества.
Эксперимент показал, что рецензенты не смогли выявить искусственное происхождение материалов, даже когда статьи содержали специфические логические конструкции, характерные для LLM. Высокие баллы, выставленные экспертами, указывают на то, что современные модели способны имитировать академический стиль, аргументацию и структуру, которые традиционно считались маркерами глубокой исследовательской работы.
Результаты исследования подчеркивают критическую уязвимость системы «слепого» рецензирования. Если эксперты не способны распознать сгенерированный контент, это создает риск наводнения научных площадок низкокачественными или сфабрикованными данными, которые формально соответствуют критериям академической строгости. Это требует пересмотра подходов к верификации авторства и внедрения новых инструментов для проверки оригинальности исследований.
Ключевые факты
- Исследование сфокусировано на конференциях ACL (Association for Computational Linguistics), являющихся ведущими площадками в области NLP.
- Рецензенты не были проинформированы о том, что часть представленных на оценку работ была создана нейросетями.
- ИИ-статьи получили оценки, которые позволили бы им пройти отбор для публикации на реальных конференциях.
- Эксперимент выявил неспособность экспертного сообщества эффективно фильтровать контент, созданный генеративными моделями, в условиях стандартного процесса рецензирования.