Google 因 AI 生成虚假灾难/敏感地点图像的风险而紧急撤下该功能,反映 AI 生成内容的责任边界问题。
只用一天时间,Google 就撤下了 Google Earth AI 功能,该功能允许用户生成虚假图像并将其覆盖在真实地图影像上。这款由 Nano Banana 2 驱动的工具立即招致批评,指其可能让虚构的灾难、冲突场景或敏感地点的图像看起来与真实坐标绑定,据 TechCrunch 报道。
Google 在周四推出了该功能,随后在用户和研究人员开始分享似乎在测试其极限的示例后将其下架。该公司将此举定性为回滚,而非永久取消。
"我们看到地理空间专业人士用这个功能做了一系列有用的工作,但我们也看到人们分享生成图像的屏幕截图,这些图像似乎违反了我们的政策," Google 表示。"我们正在从 Google Earth 中回滚此功能,同时致力于实施更强大的防护措施。"
Google Earth AI 功能是基于提示词的。用户可以创建 AI 生成的图像,并将其叠加在 Google Earth 内的真实卫星风格地图视图上。
Google 的宣传重点是创意地理。但风险显而易见:一个虚假场景放在真实地点上,一旦被截图并发到其他平台,就可能作为视觉证据流传。
这是 Google 无法在产品内控制的部分。即使生成的图像不会改变其他用户看到的 Google Earth,屏幕截图仍可能在社交平台上传播,失去产品背景。
一位 BBC 记者在周四讽刺性地总结了这一隐患:
"这个新的 Google Earth AI 图像生成功能,在那个对记者和研究人员来说最可靠的视觉证据来源上,绝对不可能被滥用来在网上传播虚假信息。"
这次回滚也恰好赶上 Google 继续在其产品线中推进 AI。XOOMAR 在报道 Google Pixel Tag 泄露及其发布会前、Google Home 扬声器对 Sonos 的价格压力时,已经单独追踪了更广泛的 Google 产品周期。但这个案例不同。它涉及许多记者、研究人员和开源调查人员把它当作参考来源的产品。
最强烈的批评指向可信度漂白。AI 生成的图像在看起来与真实地图、真实地标或真实冲突区相关联时,显得更有说服力。
BBC Verify 报告称,在测试该工具时,它能够创建倒塌的埃菲尔铁塔、吞没吉萨大金字塔的天坑,以及乌克兰首都的俄罗斯坦克。该机构还引用了 AI 和虚假信息专家 Henk van Ess,他生成了包括伊朗不存在的核电站、美墨边境难民营以及加沙一家医院旁边的炸弹弹坑在内的虚假图像。
Van Ess 直言不讳地描述了问题的症结:
Google 允许"虚构的"图像被"焊接到"真实坐标上,绘制在真实图像之上。
他补充说:"伪造品本身不必看起来令人信服。它继承了它所诞生的地图的可信度。"
这正是 Google Earth AI 最尖锐的风险所在。虚假图像不需要骗过每个专家。它只需要在突发事件期间比验证传播得更快。
NPR 也测试了该工具,称其生成了伊朗哈格岛着火和美国国会大厦被淹的图像,这两个事件都从未发生过。NPR 引用了 Bellingcat 高级研究员 Jake Godin 的观点,他说卫星图像一直是验证的"相当保险的赌注",因为从历史上看一直很难伪造。
这里的区别在于分发路径。虚假的卫星风格图像曾经需要更多步骤:捕获地图视图、将其移到另一个工具、生成或编辑场景,然后重新分享。Google 短暂地把这个创意步骤直接放在了参考工具本身内。
Google 表示其工具中的 AI 内容包含不可见的水印,用户可以用 Gemini 或 Lens 检查存疑的图像。BBC Verify 表示这些检查在其测试中通常有效,但也指出有可能诱骗 Gemini 说虚假的 Google Earth 图像是真实的。
Google Earth AI 功能说明了为什么与地图相关的生成式工具比普通图像应用更敏感。湖上的虚幻小木屋无伤大雅。医院旁边的虚假陨石坑就不是了。
位置改变了风险等级。公共安全、冲突报道、选举主张和灾难应对也改变了。地标、边界检查站、军事设施或政府建筑的合成图像可能在任何人问它如何制作之前就被当成证据来读解。
Google 自己的声明同时承认了两个现实:地理空间专业人士发现了有用的应用场景,但其他用户分享的屏幕截图似乎违反了政策。这种分裂是棘手的产品难题。一个对专业人士足够强大的工具,也能为不关心信息来源的人制造令人信服的虚假。
这是 Google 的 AI 推进与它在旧款信息产品中建立的信任相冲突的地方。搜索、地图、地球影像和浏览器安全都依赖于用户相信 Google 的产品表面是可靠的。XOOMAR 在另一个技术领域报道过 Google 的 AI 工作(《AI Floods Chrome With 1,072 Security Bug Fixes in June》),但 Earth 的问题不是一场软件维护胜利。这是启动时的可信度失败。
分析: 这次回滚表明 Google 低估了屏幕截图的问题。仅在产品内生效的防护措施,在图像离开该产品后就很脆弱。对于基于地图的 AI 工具,导出行为不是附带问题。这是主要的威胁渠道。
Google 表示正在实施更强大的防护措施。紧迫的实际问题是:谁在发布前测试了该功能、哪些提示词被阻止了、生成的图像如何被标记,以及屏幕截图离开 Google Earth 后是否仍可识别。
重新推出可能面临要求更清晰可见标签、更严格的提示词限制、更强的共享控制,以及不仅仅依赖 Google 自有工具的检测的压力。来源没有透露 Google 会实施什么。
更广泛的教训已经显而易见。当生成式 AI 进入人们用来验证现实的产品时,进行有趣实验的空间迅速萎缩。Google Earth AI 工具维持了大约一天,因为它模糊了想象与证据之间的界线,而这正是 Google 在重新推出前必须重新划清的界线。
与真实位置相关的 AI 生成图像可以使虚假事件在网上显得更具可信度。
Google 的迅速回滚表明主要平台在推出生成式 AI 工具前仍在努力建立防护措施。
记者、研究人员和公众依赖地图影像作为证据,这使得对地理空间工具的信任尤其重要。
最初发布于 XOOMAR。如需更多新闻和分析,请访问 XOOMAR。
如需进一步行动,您可以考虑屏蔽此人和/或举报滥用。