Исследователи представили AMALIA — специализированную языковую модель с 9 млрд параметров, обученную для европейского португальского языка. Проект демонстрирует, что компактные национальные модели способны эффективно выполнять задачи по разметке данных, достигая показателей согласия с экспертами-людьми, сопоставимых с результатами значительно более крупных открытых моделей, при анализе сложных социокультурных концептов, таких как моральные основания авторитета.
Использование национальных моделей позволяет лингвистическим сообществам получить собственный инструмент для анализа общественного дискурса и ценностей. В ходе тестирования AMALIA показала высокую точность в кодировании моральных категорий, несмотря на то, что её размер в 8–13 раз меньше, чем у сопоставимых по качеству универсальных LLM. Это подтверждает потенциал специализированных моделей для задач, требующих глубокого понимания культурного контекста и специфики языка.
Результаты исследования подчеркивают сдвиг в сторону создания компактных, но высокоэффективных моделей, адаптированных под нужды конкретных стран. Такой подход снижает вычислительные затраты на разметку данных и позволяет автоматизировать социологические исследования без потери качества, обеспечивая при этом суверенитет в обработке национальных языковых корпусов.
Ключевые факты
- AMALIA — специализированная модель с 9 млрд параметров для европейского португальского языка.
- Модель показала результаты в пределах шести пунктов F1-меры по сравнению с экспертной человеческой разметкой.
- Эффективность AMALIA сопоставима с открытыми моделями, которые превосходят её по количеству параметров в 8–13 раз.
- Исследование сфокусировано на способности ИИ кодировать моральные основания авторитета в общественном дискурсе.