Исследователи проанализировали механизмы цензуры и фильтрации в популярных языковых моделях, пытаясь выявить системные запреты на использование определенных слов. Работа демонстрирует, как RLHF и системные промпты формируют границы допустимого контента, ограничивая генерацию ответов, содержащих специфическую лексику, даже если контекст запроса не является вредоносным или нарушающим правила безопасности.
В ходе эксперимента тестировались различные модели на предмет их реакции на «запрещенные» токены. Выяснилось, что многие системы демонстрируют избыточную осторожность, блокируя слова, которые могут быть интерпретированы как оскорбительные или нежелательные в широком смысле. Это приводит к снижению гибкости моделей и возникновению ложноположительных срабатываний, когда безобидные запросы отклоняются из-за наличия в них слов, попавших в «черные списки» фильтров безопасности.
Авторы подчеркивают, что текущие методы алайнмента часто опираются на жесткие списки ключевых слов, а не на глубокое понимание семантического контекста. Такой подход создает предсказуемые, но ограниченные паттерны поведения, которые могут мешать выполнению творческих или технических задач, требующих использования специфической терминологии, потенциально попадающей под автоматические фильтры.
Ключевые факты
- Исследование охватывает поведение популярных LLM при столкновении с лексическими ограничениями, встроенными в слои безопасности.
- Выявлено, что фильтрация часто базируется на поверхностном поиске ключевых слов, а не на анализе интенции пользователя.
- Обнаружены значительные различия в строгости цензуры между проприетарными моделями и открытыми аналогами.
- Результаты показывают, что текущие методы алайнмента часто приводят к деградации полезности модели при работе с нейтральными, но «чувствительными» темами.