Исследователи представили метод прямой модификации весов нейронных сетей для внедрения точных фактов без необходимости дообучения (fine-tuning). Новый подход позволяет встраивать знания непосредственно в архитектуру трансформера, обеспечивая высокую точность воспроизведения информации. Это решает проблему галлюцинаций и упрощает обновление базы знаний модели, исключая риск катастрофического забывания, характерный для стандартных методов обучения.

Традиционные методы корректировки знаний в LLM часто требуют значительных вычислительных ресурсов и могут приводить к непредсказуемым изменениям в поведении модели. Новый метод, основанный на прямой конструкции весов, позволяет изолированно добавлять или изменять конкретные утверждения. Это делает процесс управления знаниями более прозрачным и контролируемым, что критически важно для систем, требующих высокой фактологической точности.

Технология опирается на математический анализ весовых матриц трансформеров, позволяя идентифицировать конкретные параметры, отвечающие за хранение ассоциативных связей. Вместо итеративного градиентного спуска авторы предлагают алгоритмическое вычисление изменений весов, необходимых для активации нужного ответа при подаче соответствующего запроса. Такой подход открывает путь к созданию «редактируемых» моделей, где обновление данных происходит мгновенно и без потери общей производительности.

Ключевые факты

  • Метод позволяет внедрять факты напрямую в веса модели, минуя классический процесс дообучения.
  • Технология минимизирует риск катастрофического забывания, сохраняя исходные способности модели.
  • Подход обеспечивает высокую точность извлечения встроенных данных при запросах.
  • Метод основан на прямой математической конструкции весовых матриц, а не на обучении на наборах данных.