Исследователи выявили фундаментальную особенность в обучении современных больших языковых моделей, получившую название «проклятие обращения». Суть проблемы заключается в том, что модели, обученные на утверждениях вида «А является Б», не способны автоматически выводить обратное утверждение «Б является А». Например, если модель успешно усваивает факт, что «Том Круз — сын Мэри Ли Пфайффер», она зачастую не может ответить на вопрос, кто является матерью Тома Круза, так как эта связь не выстраивается в обратном направлении в процессе обучения.
Данное ограничение связано с тем, как именно модели обрабатывают данные при предсказании следующего токена. В стандартном процессе обучения LLM обучаются на последовательностях, где информация подается в строго определенном порядке. В результате модель запоминает связь как однонаправленную зависимость, а не как логическую эквивалентность. Это создает серьезные пробелы в способности моделей к логическому выводу и пониманию симметричных отношений, которые кажутся очевидными для человека.
Авторы исследования отмечают, что даже при увеличении объема обучающих данных или масштабировании параметров модели эта проблема не исчезает сама по себе. Для её решения требуются изменения в методологии подготовки обучающих выборок, включая добавление данных с обратными формулировками фактов. Понимание этого механизма критически важно для разработчиков, работающих над повышением точности ответов моделей и их способности к полноценному рассуждению, так как текущие методы обучения не гарантируют усвоение логических связей в полном объеме.