Исследователи предложили новый метод аудита LLM, используемых в качестве социальных симуляторов. Авторы утверждают, что соответствия ответов модели человеческим результатам недостаточно. Важно проверять логику принятия решений, так как модель может прийти к верному выводу, опираясь на неверные паттерны рассуждений. Метод протестирован на задаче оценки концепции солнцезащитного крема с участием 94 реальных респондентов.
Традиционные подходы к оценке ИИ-симуляторов фокусируются на конечном результате, сравнивая распределение ответов модели с данными опросов населения. Однако такой подход не учитывает внутреннюю логику «рассуждений» (rationale), которая приводит модель к выбору. Если модель имитирует поведение человека, используя случайные или ошибочные цепочки рассуждений, её предсказательная ценность для социальных наук оказывается под угрозой.
В рамках исследования авторы сравнили ответы LLM с результатами реального теста на восприятие солнцезащитных средств. Выяснилось, что даже при высокой точности совпадения итоговых ответов, структура аргументации моделей часто радикально отличается от человеческой. Это ставит под сомнение надежность использования ИИ для синтетических опросов и моделирования общественного мнения без глубокого аудита логических цепочек.
Ключевые факты
- Исследование сфокусировано на проблеме «правильного ответа по неверным причинам» в социальных симуляциях.
- В качестве эмпирической базы использован тест на 94 реальных участниках, оценивавших концепцию солнцезащитного крема.
- Предложен фреймворк для аудита, который анализирует соответствие паттернов рассуждений модели человеческим когнитивным процессам.
- Установлено, что совпадение итоговых метрик не гарантирует адекватность моделирования человеческого поведения.
- Работа подчеркивает необходимость перехода от оценки «черного ящика» к анализу промежуточных логических шагов при использовании ИИ в социологических исследованиях.