Исследователи представили метод повышения качества прогнозирования в больших языковых моделях, основанный на анализе их внутренних состояний. Используя разреженные автокодировщики, авторы выявили, что модели часто опираются на специфические временные знания, а не на общие закономерности. Управление этими внутренними признаками позволяет сместить фокус модели на обобщаемые паттерны, что значительно повышает точность предсказаний в различных задачах.
В ходе работы авторы изучили, как именно LLM извлекают информацию из исторических данных для экстраполяции будущих состояний. Выяснилось, что стандартное обучение часто приводит к «запоминанию» конкретных дат и событий, что снижает эффективность модели при работе с новыми, не встречавшимися ранее сценариями. Вместо дообучения всей модели исследователи применили технику «feature steering» — направленную активацию или подавление определенных нейронных признаков, отвечающих за абстрактные причинно-следственные связи.
Этот подход позволяет лучше интерпретировать процесс принятия решений внутри «черного ящика» нейросети. Вместо того чтобы полагаться на вероятностную генерацию текста, система начинает использовать выделенные признаки как логические переменные. Это открывает новые возможности для применения LLM в аналитике, где критически важна не только точность, но и понимание логики прогноза, а также способность модели адаптироваться к меняющимся рыночным или системным условиям.
Ключевые факты
- Метод использует разреженные автокодировщики (sparse autoencoders) для декомпозиции скрытых состояний LLM на интерпретируемые признаки.
- Управление признаками (feature steering) позволяет принудительно активировать обобщаемые паттерны, снижая зависимость от заученных временных меток.
- Исследование подтверждает, что модели, обученные на «feature steering», показывают более высокую точность на данных, выходящих за рамки обучающей выборки.
- Техника применима к широкому спектру задач прогнозирования, от анализа временных рядов до моделирования сложных системных процессов.