Команда HSEmotion опубликовала результаты участия в 11-м соревновании Affective Behavior Analysis in-the-Wild (ABAW). Исследователи применили архитектуры MT-EmotiDDAMFN и MT-EmotiEffNet-B0 для одновременного предсказания валентности, возбуждения, выражений лица и действий на датасете s-Aff-Wild2. Использование замороженных легковесных экстракторов признаков в сочетании с многозадачным обучением позволило эффективно классифицировать сложные эмоциональные состояния, включая амбивалентность и нерешительность.
В основе подхода лежит использование предобученных нейросетевых моделей, которые выступают в роли экстракторов признаков. Для адаптации к специфике задачи авторы добавили специализированные «головы» (heads) для каждого типа предсказаний. Важной частью пайплайна стала система постобработки, включающая временное гауссовское сглаживание, что позволило повысить стабильность предсказаний на видеопоследовательностях.
Методология демонстрирует эффективность многозадачного обучения в задачах анализа аффективного поведения в неконтролируемых условиях (in-the-wild). Исследование подчеркивает важность выбора архитектуры экстрактора и методов обработки временных данных для достижения высокой точности в распознавании тонких эмоциональных сигналов, таких как колебания или смешанные чувства, которые часто игнорируются в стандартных моделях классификации эмоций.
Ключевые факты
- Использованы архитектуры MT-EmotiDDAMFN и MT-EmotiEffNet-B0 в качестве базовых экстракторов признаков.
- Модели обучались на датасете s-Aff-Wild2 для решения задач распознавания валентности, возбуждения, выражений лица и action units.
- Применена техника временного гауссовского сглаживания для улучшения качества предсказаний на видео.
- Исследование сфокусировано на сложных эмоциональных состояниях, включая амбивалентность и нерешительность субъектов.