Технический отчет по классификатору ИИ-сгенерированного текста Pangram

Исследователи представили Pangram — специализированный классификатор, предназначенный для определения текстов, созданных большими языковыми моделями. В отличие от многих аналогов, система демонстрирует высокую устойчивость к методам обхода защиты, таким как перефразирование или использование специфических промптов. Разработка направлена на повышение прозрачности контента в условиях массового распространения генеративного ИИ и помогает верифицировать авторство текстовых данных.

Методология Pangram опирается на анализ статистических закономерностей, которые остаются характерными для моделей даже при попытках маскировки. Авторы протестировали систему на широком спектре современных LLM, включая GPT-4 и Claude, оценивая точность детекции в сценариях с разной степенью сложности. Исследование подчеркивает, что классификация ИИ-текста требует адаптивных подходов, так как методы генерации постоянно эволюционируют, усложняя задачу для традиционных детекторов.

Система показывает значительные результаты в условиях «zero-shot» классификации, не требуя предварительного обучения на специфических наборах данных конкретной модели. Это делает инструмент пригодным для интеграции в платформы, где необходимо быстро проверять контент на предмет автоматизированного создания. Технический отчет также затрагивает проблему ложноположительных срабатываний, предлагая метрики для настройки баланса между полнотой и точностью обнаружения.

Ключевые факты

• Pangram использует архитектуру, оптимизированную для выявления следов машинной генерации, устойчивых к пост-обработке текста.
• Модель прошла тестирование на различных типах контента, включая академические статьи, креативные тексты и техническую документацию.
• Исследование подтверждает эффективность метода при противодействии атакам типа «перефразирование», которые часто обманывают стандартные детекторы.
• Разработка ориентирована на снижение уровня ложноположительных результатов, что критично для использования в образовательных и медийных средах.
• Отчет опубликован в 2024 году и доступен в репозитории arXiv для дальнейшего анализа сообществом исследователей машинного обучения.