Исследователи изучили, существует ли в больших языковых моделях функциональное различие между процессами восприятия и генерации текста, аналогичное психолингвистическим моделям человека. Несмотря на то что LLM используют единый механизм предсказания следующего токена для обеих задач, анализ вероятностей показывает наличие специфических паттернов, которые позволяют разграничить «входящую» обработку информации и «исходящую» генерацию контента внутри архитектуры трансформера.
В психолингвистике асимметрия между пониманием языка и его созданием является фундаментальным аспектом когнитивной деятельности. Авторы работы применили этот подход к современным нейросетям, чтобы проверить, как модели распределяют вероятности при анализе контекста и при формировании ответа. Исследование помогает лучше понять внутреннюю динамику работы LLM и то, как именно архитектура трансформера обрабатывает входящие данные в сравнении с генерацией новых последовательностей.
Полученные результаты ставят под сомнение гипотезу о полной идентичности механизмов обработки входных данных и генерации текста. Выявленные различия в распределении вероятностей токенов указывают на то, что модели могут использовать разные внутренние состояния для интерпретации контекста и для предсказания продолжения фразы. Это открытие может повлиять на методы дообучения моделей и подходы к повышению их логической точности.
Ключевые факты
- Исследование опирается на психолингвистическую теорию асимметрии между продукцией и перцепцией языка.
- В качестве основного инструмента анализа использованы вероятности токенов, генерируемые моделями в процессе обработки и вывода.
- Выявлены статистически значимые различия в поведении моделей при чтении контекста и генерации ответов.
- Работа подтверждает, что единый механизм next-token prediction не исключает функциональной специализации внутренних слоев модели.
- Результаты исследования могут быть использованы для оптимизации архитектур LLM и улучшения качества генерации в сложных задачах.