Новая научная работа анализирует эффективность использования больших языковых моделей для задач поиска причинно-следственных связей (causal discovery). Исследователи изучили подходы, при которых модели просят определять направления связей, предлагать структуру графов или использовать их выводы в качестве априорных ограничений для статистических алгоритмов. Основной вывод заключается в том, что текущие методы часто подменяют строгий анализ данных простыми текстовыми ассоциациями, заложенными в веса моделей.
Авторы подчеркивают проблему «галлюцинаций» и артефактов промптов, которые могут приводить к неверным выводам о причинности. В отличие от классических статистических методов, полагающихся на математические предположения и эмпирические данные, языковые модели склонны опираться на статистические закономерности языка. Это создает риск того, что полученные графы зависимостей будут отражать не реальные физические или экономические процессы, а лишь вероятностные связи между понятиями в обучающей выборке.
Исследование призывает к осторожности при интеграции ИИ в системы принятия решений, где критически важна интерпретируемость и доказательная база. Для повышения надежности предлагается использовать гибридные подходы, где нейросетевые компоненты жестко ограничены формальными статистическими тестами. Работа подчеркивает необходимость разработки новых бенчмарков, которые могли бы отделить реальное понимание причинно-следственных механизмов от способности моделей имитировать логические рассуждения на основе накопленных текстовых знаний.