Исследование на платформе Polymarket показало, что эффективность взаимодействия человека и ИИ в задачах прогнозирования зависит не от характеристик модели, а от уровня человеческого капитала. Анализ индивидуальных результатов участников выявил тримодальное распределение: ИИ помогает экспертам, нейтрален для среднего уровня и снижает точность прогнозов у менее квалифицированных пользователей, создавая эффект «зависимости» от подсказок.
Авторы работы использовали реальный рынок предсказаний для объективной оценки качества гибридных решений. В отличие от стандартных бенчмарков, которые усредняют показатели, данный подход демонстрирует, что ценность ИИ-инструментов крайне неоднородна. Результаты показывают, что внедрение ИИ в аналитические процессы требует учета квалификации сотрудников, так как автоматизация без должной экспертизы может приводить к деградации качества принимаемых решений.
Исследователи подчеркивают, что текущие методы оценки ИИ-систем часто игнорируют индивидуальные различия в навыках пользователей. Это приводит к неверным выводам о пользе технологий, так как усредненные метрики скрывают как значительный рост производительности у профессионалов, так и негативное влияние на менее подготовленных специалистов.
Ключевые факты
- Исследование базируется на данных реального рынка предсказаний Polymarket.
- Эффективность гибридного интеллекта распределена тримодально: ИИ улучшает, не меняет или ухудшает результаты в зависимости от навыков человека.
- Высококвалифицированные прогнозисты получают наибольший прирост точности при использовании ИИ.
- Менее опытные пользователи склонны к чрезмерному доверию ИИ, что ведет к снижению качества их индивидуальных прогнозов.
- Работа доказывает, что человеческий капитал является ключевым предиктором успеха в гибридных системах, превосходя по значимости технические характеристики моделей.