Хедж-фонд Bridgewater совместно с Thinking Machines Lab выяснил, что дообученные open-weight модели значительно эффективнее универсальных LLM при анализе закрытых финансовых данных. В ходе тестирования топовые проприетарные модели показали низкую точность, так как их обучение базировалось на публичных источниках, не содержащих специфической финансовой экспертизы, необходимой для принятия инвестиционных решений.

Исследование подчеркивает критическую проблему использования готовых моделей для узкоспециализированных корпоративных задач. В то время как GPT-4 и Claude демонстрируют впечатляющие результаты в общих тестах, их эффективность резко падает при работе с уникальными внутренними данными компаний, которые не представлены в открытом интернете. Bridgewater удалось добиться превосходства за счет тонкой настройки компактных моделей на собственных закрытых датасетах.

Такой подход не только повышает точность интерпретации сложных финансовых отчетов, но и оказывается экономически выгоднее. Использование специализированных моделей требует значительно меньших вычислительных мощностей по сравнению с запуском тяжелых универсальных систем, что делает внедрение ИИ в финансовый сектор более масштабируемым и менее затратным процессом.

Ключевые факты

  • Bridgewater и Thinking Machines Lab провели сравнительное тестирование универсальных LLM и дообученных open-weight моделей на финансовых документах.
  • Универсальные модели показали низкую точность из-за отсутствия в их обучающей выборке специфических закрытых данных фонда.
  • Дообученные модели продемонстрировали более высокую точность при значительно меньших затратах на инференс.
  • Результаты подтверждают преимущество узкоспециализированного дообучения перед использованием «из коробки» для задач с высокой стоимостью ошибки.