Google оперативно закрыла новую функцию в Google Earth, позволявшую пользователям редактировать спутниковые изображения с помощью текстовых промптов. Инструмент проработал всего один день после запуска. Решение было принято из-за рисков создания реалистичных дипфейков, которые могли использоваться для распространения дезинформации и манипуляции визуальными данными о реальных географических объектах и событиях.
Проблема стала очевидной после того, как исследователи продемонстрировали возможности системы, генерируя изображения с несуществующими объектами, такими как группы беженцев на границе. Использование генеративного ИИ для изменения картографических данных создает угрозу достоверности визуальной информации, на которую полагаются пользователи, аналитики и государственные службы. В текущем виде технология оказалась неспособна эффективно фильтровать вредоносный контент.
Инцидент подчеркивает сложность внедрения генеративных моделей в сервисы, требующие высокой степени верификации данных. Разработчики столкнулись с необходимостью балансировать между расширением функциональности и предотвращением злоупотреблений, связанных с созданием фейковых доказательств. В результате компания предпочла полностью остановить работу функции, чтобы избежать репутационных рисков и распространения недостоверных визуальных материалов.
Ключевые факты
- Функция редактирования спутниковых снимков через текстовые запросы была доступна пользователям менее 24 часов.
- Исследователь Хенк ван Эсс наглядно продемонстрировал уязвимость системы, сгенерировав постановочные кадры с беженцами на границе Мексики.
- Основной причиной отключения стали опасения по поводу создания дипфейков и распространения дезинформации через картографические сервисы.
- Google признала, что текущие механизмы модерации не справляются с предотвращением генерации потенциально опасного или вводящего в заблуждение контента в реальном времени.