Исследователи представили новый метод для точного определения фрагментов текста, созданных языковыми моделями в документах с совместным авторством человека и ИИ. В отличие от существующих решений, которые классифицируют весь документ целиком, предложенный подход позволяет локализовать конкретные токены, сгенерированные алгоритмами, что критически важно для проверки подлинности контента и обеспечения прозрачности в процессах совместной работы.
Современные инструменты детектирования текста часто сталкиваются с проблемой «размытия» границ, когда ИИ-контент интегрирован в человеческий текст. Новый метод анализирует вероятностные распределения токенов, позволяя выявлять вставки даже в тех случаях, когда модель была дообучена или использовала специфические настройки генерации. Это повышает точность анализа в академической среде, при проверке авторства и в корпоративных процессах, где требуется контроль за использованием генеративных инструментов.
Разработка опирается на глубокий анализ паттернов предсказания вероятностей, характерных для LLM. Метод демонстрирует высокую эффективность в задачах сегментации, позволяя отделить «человеческие» части текста от машинных с высокой гранулярностью. Это открывает возможности для создания более совершенных систем верификации контента, которые не просто выносят вердикт «ИИ или человек», а показывают, какая именно часть работы была выполнена нейросетью.
Ключевые факты
- Метод фокусируется на токенизированной локализации, а не на бинарной классификации целых документов.
- Подход эффективен для анализа текстов с гибридным авторством, где ИИ-контент перемешан с человеческим.
- Технология позволяет выявлять следы генерации даже при использовании сложных методов дообучения моделей.
- Разработка решает проблему отсутствия инструментов для детального аудита совместной работы человека и ИИ.