Исследователи представили концепцию Knowledgeless Language Models — архитектурный подход, направленный на подавление параметрической памяти моделей в пользу опоры на предоставленный контекст. Метод модифицирует процесс предварительного обучения, заставляя нейросеть игнорировать заученные факты, которые часто оказываются устаревшими или неточными, и фокусироваться исключительно на доказательной базе, что критически важно для создания надежных RAG-систем и минимизации галлюцинаций.
Традиционные LLM хранят огромные объемы информации в своих весах, что создает конфликт между «внутренней памятью» и актуальными данными из внешних источников. Внедрение подхода, при котором модель принудительно отучается от опоры на собственные параметры, позволяет радикально повысить точность ответов в задачах, требующих строгого следования предоставленным документам. Это делает систему более предсказуемой и упрощает процесс обновления знаний без необходимости переобучения.
Данное исследование предлагает новый взгляд на обучение моделей, где приоритет отдается логическому выводу на основе доказательств, а не воспроизведению заученных паттернов. Такой сдвиг парадигмы может стать фундаментом для следующего поколения систем, где достоверность информации обеспечивается внешними базами данных, а не вероятностным предсказанием на основе обучающей выборки.
Ключевые факты
- Исследование сфокусировано на подавлении параметрического воспроизведения знаний для повышения качества RAG-систем.
- Метод предполагает модификацию сигналов предварительного обучения для переориентации модели на доказательное обоснование.
- Основная цель — устранение конфликтов между устаревшими внутренними знаниями модели и актуальным контекстом.
- Подход способствует снижению уровня галлюцинаций за счет принудительной привязки ответов к предоставленным источникам данных.