Исследование, опубликованное на 404 Media, показало, что манипулирование результатами поиска ИИ с помощью Reddit — задача проще, чем кажется. Учёные продемонстрировали, что даже небольшие изменения в контенте Reddit могут существенно влиять на результаты поиска, генерируемые ИИ-моделями. Это открывает новые риски для достоверности информации, получаемой через ИИ-ассистентов и поисковые системы.
В ходе эксперимента исследователи создали фейковые аккаунты на Reddit и публиковали там заведомо ложную информацию. Они обнаружили, что ИИ-модели, обучающиеся на данных Reddit, быстро начинают воспроизводить эти ложные данные в своих ответах. Это особенно актуально для моделей, использующих RAG (Retrieval-Augmented Generation), которые полагаются на актуальные данные из открытых источников.
Проблема усугубляется тем, что Reddit является одним из ключевых источников данных для многих ИИ-моделей. Если злоумышленники смогут массово влиять на контент платформы, это может привести к распространению дезинформации через ИИ-ассистентов. Исследователи подчёркивают необходимость разработки механизмов проверки и фильтрации данных, используемых для обучения ИИ-моделей.
Для разработчиков ИИ-агентов, таких как Jarv, это исследование подчёркивает важность использования надёжных и проверенных источников данных. Также важно внедрять механизмы проверки информации, чтобы минимизировать риски манипуляции и дезинформации. В условиях растущей зависимости от ИИ в поиске и анализе информации, защита от таких угроз становится критически важной.