Исследование показало, что популярные инструменты для обнаружения ИИ-контента демонстрируют крайне низкую точность при анализе текстов. В ходе эксперимента эссе Пола Грэма, написанное в 2013 году, было классифицировано как сгенерированное нейросетью с высокой степенью вероятности. Это подтверждает проблему ложноположительных срабатываний, которые ставят под сомнение надежность подобных систем в академической и профессиональной среде.
Проблема заключается в том, что детекторы часто ориентируются на статистические закономерности, такие как «перплексия» (непредсказуемость текста) и «вариативность» (разнообразие структуры предложений). Тексты, написанные в четком, логичном и структурированном стиле, часто попадают под критерии, которые алгоритмы ошибочно интерпретируют как признаки работы LLM. Это создает серьезные риски для пользователей, чьи авторские материалы могут быть несправедливо помечены как созданные машиной.
Ситуация усугубляется тем, что разработчики детекторов редко раскрывают методологию обучения своих моделей. В результате пользователи не могут оценить, на каких данных обучались классификаторы и какие именно лингвистические паттерны они считают «искусственными». Подобные инструменты не обеспечивают доказательной базы для обвинений в использовании ИИ, что делает их непригодными для использования в качестве единственного критерия проверки контента.
Ключевые факты
- Эссе Пола Грэма, опубликованное в 2013 году, получило высокий рейтинг вероятности ИИ-генерации в нескольких популярных детекторах.
- Основными метриками, на которые опираются детекторы, являются перплексия и вариативность, которые не являются уникальными признаками нейросетей.
- Исследование подчеркивает высокую частоту ложноположительных результатов при анализе текстов, написанных профессиональными авторами.
- Отсутствие прозрачности в алгоритмах детекторов делает невозможной верификацию их выводов и защиту от ошибок классификации.