Исследователи представили архитектуру Co-LMLM (Continuous-Query Limited Memory Language Models), которая переносит хранение фактологических знаний из весов нейросети во внешнюю базу данных. В отличие от стандартных LLM, такая модель в процессе генерации текста динамически обращается к внешним источникам, что позволяет обновлять знания без необходимости дорогостоящего дообучения и обеспечивает лучший контроль над достоверностью информации.
Традиционные языковые модели склонны к галлюцинациям из-за попыток «запомнить» огромные объемы данных непосредственно в своих параметрах. Подход LMLM меняет парадигму: модель обучается не запоминать факты, а эффективно запрашивать их из структурированного хранилища в режиме реального времени. Это значительно снижает требования к объему памяти модели и упрощает процесс актуализации данных, так как для обновления знаний достаточно изменить содержимое базы, а не переобучать всю архитектуру.
Данная технология открывает новые возможности для создания систем, требующих высокой точности и оперативной работы с меняющимися данными. Использование внешних баз знаний в качестве основного источника информации делает ответы модели более прозрачными и проверяемыми, что критически важно для корпоративных решений и специализированных экспертных систем, где точность фактов важнее креативности генерации.
Ключевые факты
- Модели LMLM выносят фактологические знания во внешнюю базу данных (KB) вместо их хранения в весах.
- Архитектура Co-LMLM оптимизирует процесс извлечения знаний во время генерации текста.
- Основное преимущество подхода — возможность мгновенного обновления знаний без переобучения модели.
- Метод позволяет лучше контролировать достоверность ответов и снижает вероятность галлюцинаций.