Исследователи изучили способность языковых моделей усваивать «непохожую координацию» (unlike coordination) — грамматическую конструкцию, где объединяются разнородные синтаксические категории. Эксперименты показали, что модели способны овладевать этими сложными структурами даже без явного обучения на подобных примерах, что ставит под сомнение традиционные лингвистические теории о необходимости строгого соответствия категорий при соединении элементов в предложении.

Традиционная лингвистика долгое время исходила из гипотезы, что для координации в языке требуются идентичные категории, однако живая речь постоянно демонстрирует обратное. Авторы работы использовали современные LLM как вычислительную лабораторию для проверки того, как именно нейросети выстраивают синтаксические связи. Выяснилось, что модели демонстрируют высокую чувствительность к контекстуальным закономерностям, позволяющим корректно обрабатывать нестандартные сочетания слов.

Результаты работы указывают на то, что архитектура трансформеров обладает встроенными механизмами для вывода абстрактных грамматических правил из неструктурированных данных. Это открытие помогает лучше понять, как именно модели формируют внутренние представления о языке и насколько эффективно они могут экстраполировать правила за пределы обучающей выборки, что важно для развития более совершенных методов обучения нейросетей.

Ключевые факты

  • Исследование сфокусировано на способности моделей обрабатывать «непохожую координацию» (unlike coordination) в лингвистике.
  • Установлено, что модели способны корректно использовать сложные синтаксические конструкции без предварительного обучения на специфических примерах.
  • Работа подтверждает, что LLM могут выводить абстрактные грамматические правила, выходящие за рамки простого статистического сопоставления категорий.
  • Результаты ставят под сомнение классические лингвистические теории, настаивающие на строгом соответствии категорий при координации элементов.