Исследователи представили SAGA (Score-weighted Adaptive Generation Alignment) — фреймворк для оптимизации предпочтений в больших языковых моделях, который не требует дорогостоящей разметки данных человеком. Метод использует парсеры для оценки генерации, что позволяет эффективно адаптировать модели для морфологически сложных языков с малым объемом обучающих данных, где традиционные методы обучения с подкреплением на основе отзывов людей (RLHF) практически неприменимы.
Традиционные подходы к выравниванию моделей (alignment) сильно зависят от наличия качественных наборов данных с предпочтениями, созданных людьми. Для редких или морфологически богатых языков, таких как скандинавские, сбор таких данных требует значительных затрат и времени. SAGA решает эту проблему, заменяя человеческую оценку автоматизированным парсер-ориентированным механизмом, который взвешивает вероятности генерации на основе структурных и грамматических правил конкретного языка.
Применение SAGA позволяет значительно улучшить качество ответов моделей в условиях дефицита данных. Метод демонстрирует, что использование лингвистических инструментов в качестве «судей» при обучении может быть столь же эффективным, как и прямое использование человеческих предпочтений. Это открывает путь к созданию более качественных специализированных моделей для языков, которые ранее оставались вне фокуса крупных разработчиков ИИ из-за нехватки обучающих корпусов.
Ключевые факты
- SAGA (Score-weighted Adaptive Generation Alignment) — фреймворк, исключающий необходимость в ручной разметке предпочтений при дообучении LLM.
- Метод ориентирован на работу с морфологически сложными языками с низким уровнем цифровых ресурсов, включая скандинавскую группу.
- В основе алгоритма лежит использование парсеров для оценки качества генерации, что заменяет традиционный подход RLHF.
- Технология позволяет проводить эффективную оптимизацию моделей в условиях ограниченного доступа к качественным размеченным датасетам.