Исследователи представили DiaLLM — метод адаптации языковых моделей к региональным диалектам английского языка. Несмотря на способность современных LLM распознавать диалектную речь, они по-прежнему генерируют ответы преимущественно на стандартном американском английском. Авторы работы применили непрерывное дообучение на корпусе International Corpus of English, чтобы сократить разрыв между пониманием диалектов и их воспроизведением в генерации.
Проблема «разрыва между надежностью и генерацией» заключается в том, что модели склонны игнорировать лингвистические особенности пользователя, даже если они их распознают. В рамках проекта DiaLLM были протестированы три семейства моделей с открытыми весами. Исследователи использовали комбинацию неявных и явных методов обучения, чтобы научить системы не только распознавать, но и корректно использовать диалектные конструкции в ответах.
Результаты показывают, что текущие подходы к обучению моделей часто смещены в сторону стандартизированных языковых норм, что ограничивает инклюзивность ИИ-систем. Работа предлагает архитектурный подход к дообучению, который позволяет моделям сохранять свои базовые способности, одновременно расширяя их лингвистический диапазон для более естественного взаимодействия с пользователями из разных регионов.
Ключевые факты
- Проект DiaLLM направлен на устранение диспропорции между пониманием и генерацией диалектного английского.
- В качестве основного датасета для дообучения использован International Corpus of English (ICE).
- Исследование охватило три различных семейства языковых моделей с открытыми весами.
- Применены методы как неявного, так и явного обучения для адаптации стилистики генерации.
- Выявлено, что текущие модели сохраняют сильный уклон в сторону стандартного американского английского даже при наличии диалектных данных в обучающей выборке.