Google приостановила работу функции генерации изображений в Google Earth после того, как пользователи начали массово создавать реалистичные сцены разрушений и катастроф. Инструмент, предназначенный для визуализации локаций, стал использоваться для генерации фейковых изображений военных конфликтов и природных бедствий, что вынудило компанию временно ограничить функционал сервиса для проведения дополнительной модерации и настройки фильтров безопасности.
Инцидент подчеркивает сложность контроля над генеративными моделями, интегрированными в публичные картографические сервисы. Несмотря на наличие встроенных ограничений, пользователи находили способы обхода фильтров через специфические промпты, заставляя нейросеть визуализировать последствия катастроф в конкретных географических точках. Это привело к распространению вводящего в заблуждение контента, который выглядел как реальные спутниковые снимки или фотографии с мест событий.
Данная ситуация демонстрирует риски, связанные с внедрением генеративного ИИ в продукты, работающие с реальными геоданными. Разработчики сталкиваются с необходимостью внедрения более строгих механизмов проверки контента на этапе генерации, чтобы предотвратить создание социально опасных или дезинформирующих материалов. В настоящее время Google пересматривает политики безопасности для предотвращения подобных инцидентов в будущем.
Ключевые факты
- Google Earth временно отключила генератор ИИ-изображений из-за генерации сцен разрушений.
- Пользователи использовали инструмент для создания реалистичных фейковых изображений военных конфликтов.
- Компания проводит аудит систем безопасности для предотвращения обхода фильтров контента.
- Инцидент стал примером сложности модерации генеративного контента в геосервисах.