Исследователи представили MORFES — специализированный набор тестов для оценки способности языковых моделей работать с морфологией современного греческого языка. В отличие от существующих бенчмарков, сфокусированных на общих знаниях, MORFES проверяет точность распознавания и генерации словоформ в языке с богатой флективной системой, что критически важно для качественного понимания и синтеза греческого текста.
Греческий язык обладает сложной системой словоизменения, которая часто становится «слепой зоной» для моделей, обученных преимущественно на английском или других аналитических языках. Существующие методы оценки не учитывают специфику продуктивной морфологии, что приводит к ошибкам в генерации грамматически верных форм. Новый набор данных помогает выявить пробелы в обучении моделей и улучшить их способность к корректному словообразованию.
Бенчмарк включает 500 экспертно верифицированных примеров, охватывающих различные части речи и типы словоизменения. Тестовый набор ориентирован на проверку навыков «открытого класса» слов, где модели должны не просто выбирать ответ из предложенных вариантов, а самостоятельно формировать правильную грамматическую конструкцию, демонстрируя глубокое понимание морфологических правил языка.
Ключевые факты
- Название бенчмарка: MORFES (Morphological Open-class Recognition-and-Formation Evaluation Suite).
- Объем датасета: 500 примеров, прошедших экспертную проверку лингвистами.
- Целевой язык: современный греческий, характеризующийся высокой степенью флективности.
- Основная задача: оценка продуктивной морфологической компетенции, включая распознавание и генерацию словоформ.
- Значимость: заполнение пробела в оценке моделей, которые ранее тестировались преимущественно на фактологических знаниях, а не на лингвистической точности.