Исследователи изучили способность нейросетевых языковых моделей различать грамматически правильные и ошибочные конструкции. В отличие от традиционных методов, основанных на сравнении вероятностей токенов, работа фокусируется на анализе линейных представлений внутри моделей. Авторы доказывают, что грамматические закономерности кодируются в скрытых слоях нейросетей как геометрически различимые структуры, что позволяет классифицировать предложения независимо от их вероятностного веса.

Традиционный подход к оценке грамматики в LLM часто опирается на «перплексию» или вероятность генерации последовательности. Однако такой метод не всегда отражает истинное понимание структуры языка, так как модели могут присваивать высокие вероятности бессмысленным, но статистически частым фразам. Новое исследование предлагает использовать линейные классификаторы, которые извлекают информацию из внутренних активаций модели, демонстрируя, что грамматика представлена в нейронных сетях как отдельный абстрактный признак.

Эти результаты проливают свет на то, как именно архитектура трансформеров усваивает синтаксические правила в процессе обучения. Выводы работы показывают, что грамматическая корректность может быть выделена из скрытых состояний модели с высокой точностью, что открывает новые пути для интерпретируемости (interpretability) нейросетей. Это позволяет исследователям лучше понимать, какие именно слои и нейроны отвечают за формирование синтаксических связей в современных больших языковых моделях.

Ключевые факты

  • Исследование ставит под сомнение эффективность вероятностных метрик для оценки лингвистических способностей моделей.
  • Авторы доказали, что грамматические правила кодируются в виде линейно разделимых представлений в скрытых слоях нейросетей.
  • Использование линейных классификаторов позволяет выявлять грамматическую корректность предложений точнее, чем анализ вероятностных распределений.
  • Работа вносит вклад в развитие методов интерпретируемости, позволяя отделить синтаксическое понимание от статистических закономерностей данных.