Исследователи изучили эффективность интервенционных данных при обучении языковых моделей причинно-следственному выводу. В контролируемой среде выяснилось, что увеличение доли таких данных не всегда ведет к росту качества логики. В сценариях, подобных парадоксу Симпсона, где корреляция и причинность имеют противоположные знаки, модели могут демонстрировать снижение точности при попытке усвоить причинно-следственные связи.
Авторы работы использовали синтетическую среду, чтобы противопоставить наблюдательные корреляции и истинные причинные эффекты. Результаты показывают, что текущие методы обучения моделей на интервенционных данных сталкиваются с фундаментальными ограничениями. Когда данные содержат систематические противоречия между тем, что модель видит в статистике, и тем, как устроена причинность, увеличение объема обучающей выборки не исправляет ошибку, а лишь закрепляет неверные паттерны.
Это открытие ставит под сомнение общепринятое мнение о том, что добавление интервенционных данных является универсальным решением для улучшения способности моделей к рассуждению. Исследование подчеркивает необходимость разработки более сложных методов обучения, которые учитывают структуру данных, а не просто полагаются на их тип для формирования логических навыков у нейросетей.
Ключевые факты
- Исследование проведено в полностью контролируемой синтетической среде для оценки влияния типа данных на логику моделей.
- Выявлено, что в условиях парадокса Симпсона интервенционные данные могут приводить к систематическим ошибкам в определении направления причинно-следственной связи.
- Увеличение доли интервенционных образцов в процессе претрейна не гарантирует автоматического улучшения способности модели к причинному выводу.
- Работа указывает на критические ограничения текущих подходов к обучению моделей на основе интервенций при наличии противоречивых статистических сигналов.