Исследователи изучили, способны ли языковые модели формировать лингвистические предпочтения, аналогичные человеческим, при работе с ограниченными данными. Эксперименты показали, что модели склонны к обобщению правил порядка слов, характерному для людей, включая предпочтение гомоморфных модификаторов именных групп. Это подтверждает гипотезу о том, что общие механизмы обучения могут приводить к возникновению сложных языковых структур без специфического программирования.
Работа опирается на методологию искусственного изучения языка (Artificial Language Learning), которая традиционно используется в когнитивистике для анализа того, как люди усваивают грамматические закономерности. Авторы сравнили поведение нейросетей с результатами человеческих тестов, чтобы выявить, насколько «врожденные» лингвистические смещения моделей соответствуют биологическим аналогам.
Результаты исследования проливают свет на природу формирования синтаксических предпочтений в больших языковых моделях. Выяснилось, что даже при недостатке входных данных модели способны выстраивать иерархические структуры, которые интуитивно понятны носителям естественных языков. Это открытие важно для понимания того, как именно архитектура трансформеров влияет на усвоение грамматики и насколько глубоко «человеческие» паттерны заложены в процессах обучения нейронных сетей.
Ключевые факты
- Исследование проверяет гипотезу о возникновении лингвистических смещений из общих механизмов обучения.
- Модели продемонстрировали склонность к использованию scope-homomorphic (гомоморфных по области действия) порядков модификаторов.
- Результаты подтверждают, что нейросети способны к обобщению правил, выходящих за рамки предоставленных обучающих примеров.
- Работа сопоставляет когнитивные модели усвоения языка человеком с процессами обучения современных LLM.