Исследование Epoch AI показало, что популярные инструменты для распознавания ИИ-контента — Pangram, GPTZero и Originality.ai — демонстрируют низкую точность, если модель имитирует специфический стиль автора. В среднем до 18% сгенерированных фрагментов остаются нераспознанными, а в области научных текстов доля ошибок достигает 48%, что ставит под сомнение надежность таких систем в академической среде.
Эксперимент выявил критическую уязвимость существующих детекторов: они опираются на статистические закономерности, которые легко маскируются при использовании промптов, задающих конкретную стилистику или тон повествования. Когда языковая модель адаптируется под структуру предложений и лексику реального человека, алгоритмы классификации перестают видеть характерные признаки машинной генерации, такие как высокая предсказуемость токенов.
Наиболее тревожные результаты зафиксированы в научной сфере, где проверка на оригинальность является стандартом. Высокий уровень пропусков (почти половина случаев) делает текущие инструменты практически бесполезными для верификации публикаций. Это подчеркивает необходимость разработки новых методов детекции, которые будут учитывать не только статистику текста, но и семантическую глубину, а также логическую связность, менее подверженную стилистической мимикрии.
Ключевые факты
- В тестировании участвовали три ведущих детектора: Pangram, GPTZero и Originality.ai.
- Общий уровень пропусков ИИ-контента при имитации стиля составил до 18%.
- В категории научных текстов показатель ошибок достиг 48%.
- Исследование проведено организацией Epoch AI, специализирующейся на анализе развития ИИ-технологий.