Исследователи представили новый подход к архитектуре парсеров, решающий проблему неспособности моделей учитывать направление связей в структуре предложения. Переработав символьный бэкенд на основе направленных типов CCG (Combinatory Categorial Grammar), авторы добились значительного роста точности в тестах SLOG, сохранив при этом минимальное количество обучаемых параметров — всего 30 тысяч.

Предыдущие передовые решения, такие как AM-Parser, использовали алгебраические операции, которые игнорировали направление модификаторов и аргументов, что приводило к ошибкам в задачах на структурную обобщаемость. Новый метод интегрирует детерминированный алгоритм CKY с линейным декодером, что позволяет модели лучше улавливать синтаксические зависимости, критически важные для понимания естественного языка.

Использование направленных типов позволяет модели более точно интерпретировать позиционные сдвиги и извлечение аргументов, которые часто встречаются в сложных лингвистических конструкциях. Данное исследование демонстрирует, что даже при использовании стандартного энкодера, такого как BERT-base, правильная настройка символьного бэкенда способна существенно повысить производительность модели в задачах, требующих глубокого понимания грамматической структуры.

Ключевые факты

  • Разработан новый символьный бэкенд на базе направленных типов CCG для улучшения структурной обобщаемости.
  • Модель использует детерминированный алгоритм CKY в сочетании с однослойным линейным декодером.
  • Общее количество обучаемых параметров в предложенной архитектуре составляет 30 000.
  • Решение устраняет недостатки предыдущих SOTA-моделей, которые не учитывали направленность синтаксических связей.
  • Эффективность подхода подтверждена на категориях теста SLOG, требующих учета позиционных различий.