Исследователи проанализировали эффективность различных подходов к задаче извлечения пар «эмоция-причина» (ECPEC) в диалогах с использованием больших языковых моделей. Авторы сравнили генеративные методы, создающие полные наборы пар, с дискриминативными подходами, оценивающими отдельные пары. Выяснилось, что выбор парадигмы формулировки задачи критически влияет на точность распознавания причинно-следственных связей между репликами собеседников в разговорном контексте.
В работе подчеркивается, что текущие методы на базе LLM демонстрируют значительные различия в результатах в зависимости от того, как именно ставится задача перед моделью. Генеративный подход, при котором модель должна самостоятельно выделить все пары в диалоге, часто сталкивается с проблемами полноты и точности. В то же время подход, основанный на оценке (judgement) предложенных кандидатов, показывает более стабильные результаты при анализе сложных эмоциональных контекстов.
Авторы предлагают переосмыслить архитектуру взаимодействия с LLM для задач извлечения эмоциональных триггеров. Результаты исследования показывают, что переход от прямого генеративного вывода к итеративной оценке пар позволяет существенно снизить количество ошибок, связанных с галлюцинациями или пропуском значимых реплик, что важно для разработки систем анализа клиентского опыта и психологического мониторинга.
Ключевые факты
- Исследование сфокусировано на задаче ECPEC (Emotion-Cause Pair Extraction in Conversation), критически важной для анализа эмоционального фона в диалогах.
- Сравнение проводилось между генеративной парадигмой (поиск всех пар) и оценочной парадигмой (верификация кандидатов).
- Выявлено, что дискриминативный подход к оценке пар значительно повышает надежность извлечения данных по сравнению с генерацией «с нуля».
- Работа подчеркивает важность правильного промпт-инжиниринга и формулировки задачи для повышения качества работы LLM в узкоспециализированных задачах NLP.