Исследователи проанализировали, насколько точно современные языковые модели способны оценивать социальную привлекательность на основе психологических профилей. В ходе эксперимента сравнивались оценки ИИ и людей по десяти ключевым психологическим конструктам. Результаты показывают, что модели демонстрируют значительную корреляцию с человеческими суждениями, однако их эффективность зависит от сложности социальных сценариев и глубины заложенных в них теоретических моделей поведения.
Работа фокусируется на валидности использования LLM в качестве «социальных судей» — инструментов, которые всё чаще применяются для автоматизации субъективных оценок в социологии и психологии. Авторы разделили профили на три уровня привлекательности, чтобы проверить, способны ли модели улавливать тонкие различия в межличностных отношениях, которые обычно требуют человеческой интуиции и глубокого понимания контекста.
Полученные данные позволяют лучше понять границы применимости генеративного ИИ в задачах, требующих моделирования человеческого восприятия. Исследование подчеркивает, что хотя модели успешно справляются с базовыми психологическими конструктами, их использование в качестве полноценной замены экспертов-людей требует осторожности из-за потенциальных искажений в интерпретации сложных социальных сигналов.
Ключевые факты
- В исследовании использовано 10 психологических и реляционных конструктов для построения профилей.
- Профили были классифицированы по трем уровням: социально привлекательные, социально смешанные и социально непривлекательные.
- Сравнение проводилось между оценками нескольких различных LLM и результатами экспертной оценки людьми.
- Работа направлена на проверку валидности ИИ как инструмента для автоматизированной оценки субъективных социальных качеств.