Авторы новой научной работы проанализировали процесс формирования «конституции» ИИ-моделей, задавшись вопросом, может ли система обладать агентностью для принятия собственных этических правил. Исследование рассматривает механизмы RLAIF (обучение с подкреплением на основе ИИ-фидбека) и то, как именно разработчики навязывают моделям ценностные установки, ограничивая их автономность в рамках заданных рамок поведения.
В документе подробно разбирается концепция «конституционного ИИ», которую активно продвигает компания Anthropic. Исследователи ставят под сомнение прозрачность процесса, при котором модель обучается следовать набору правил, сформулированных людьми, без возможности критического осмысления этих принципов самой системой. Авторы подчеркивают, что текущие методы алайнмента скорее являются формой жесткого программирования ограничений, чем процессом формирования осознанной этической позиции у алгоритма.
Работа также затрагивает проблему масштабируемого надзора. По мере усложнения моделей становится всё труднее гарантировать, что их ответы соответствуют исходным конституционным принципам во всех сценариях. Исследователи предлагают альтернативные подходы к оценке того, как модели интерпретируют свои внутренние инструкции, и указывают на риски возникновения «галлюцинаций соответствия», когда модель имитирует соблюдение правил, не понимая их контекста.
Ключевые факты
- Исследование опубликовано на платформе SSRN и сфокусировано на анализе методов Constitutional AI.
- Основное внимание уделено разрыву между человеческими этическими установками и их технической реализацией в весах нейросети.
- Авторы критикуют текущую модель RLAIF за отсутствие механизмов верификации того, насколько «согласие» модели с конституцией является осознанным процессом.
- В работе предложены новые метрики для оценки того, как LLM интерпретируют абстрактные моральные принципы в процессе генерации текста.