Исследователи представили StoryScope — методологию для систематического анализа особенностей текстов, созданных большими языковыми моделями в жанре художественной литературы. Работа сфокусирована на выявлении характерных паттернов, которые отличают ИИ-контент от произведений, написанных людьми. Авторы анализируют, как модели справляются с поддержанием долгосрочной связности сюжета, развитием персонажей и стилистической устойчивостью на протяжении длинных повествовательных форм.
В ходе исследования были протестированы популярные архитектуры, что позволило выявить типичные «идиосинкразии» — специфические ошибки и стилистические искажения, свойственные генеративным системам. К ним относятся чрезмерная предсказуемость сюжетных поворотов, склонность к клише и трудности с удержанием контекста в сценах с большим количеством действующих лиц. Полученные данные помогают лучше понять ограничения текущих моделей в задачах творческого письма и креативного сторителлинга.
Результаты работы имеют значение для развития методов оценки качества генерации текста и настройки моделей для более сложных литературных задач. Авторы предлагают метрики, которые позволяют количественно измерить «человечность» и художественную ценность ИИ-текстов, что может быть использовано для улучшения систем дообучения (fine-tuning) и оптимизации параметров декодирования при генерации длинных последовательностей.