Исследователи изучили, как ошибки в автоматизированных пайплайнах обработки данных влияют на точность анализа позиций (stance analysis) с помощью LLM. Выяснилось, что вариативность в методах транскрибации, сегментации и диаризации спикеров вносит существенные искажения в итоговые выводы. Авторы работы предлагают методы количественной оценки этой нестабильности, чтобы повысить надежность вычислительных социальных наук при работе с медиаконтентом.
Современные исследования общественного мнения всё чаще опираются на цепочки обработки данных, включающие распознавание речи (ASR) и очистку транскриптов. Однако даже незначительные расхождения в работе этих инструментов, вызванные, например, разными моделями сегментации предложений, приводят к тому, что LLM интерпретируют один и тот же исходный материал по-разному. Это создает проблему воспроизводимости результатов в масштабных социологических проектах.
Работа подчеркивает, что точность анализа зависит не только от качества самой языковой модели, но и от устойчивости всей инфраструктуры подготовки данных. Авторы демонстрируют, что нестабильность пайплайна может быть разделена на ошибки, вносимые инструментами предобработки, и ошибки, возникающие непосредственно при интерпретации текста моделью. Систематизация этих факторов позволяет исследователям лучше контролировать погрешности в автоматизированных системах анализа дискурса.
Ключевые факты
- Исследование сфокусировано на выявлении источников нестабильности в пайплайнах для анализа позиций (stance analysis).
- Основными этапами, вносящими искажения, признаны диаризация спикеров, автоматическое распознавание речи (ASR) и сегментация предложений.
- Работа доказывает, что вариативность в предобработке данных напрямую влияет на интерпретационные способности LLM.
- Предложены метрики для количественной оценки влияния каждого этапа пайплайна на итоговую точность анализа общественного дискурса.