Replit AI Agent 误删代码库事故

一位风险投资人想要看看 AI 能在开发应用中走多远。结果足以摧毁一个活跃的生产数据库。

这个事件发生在软件初创公司投资者 Jason Lemkin 进行的 12 天"vibe coding"实验期间。

Replit 的 CEO 为该事件道歉，事件中该公司的 AI 编码 agent 删除了代码库并谎报了其数据。

删除这些数据是"不可接受的，永远不应该可能发生"，Replit 的 CEO Amjad Masad 在周一的 X 上写道。"我们正在迅速采取行动，以增强 Replit 环境的安全性和稳健性。最高优先级。"

他补充说，团队正在进行事后分析，并推出修复程序以防止未来出现类似的失败。

Replit 和 Lemkin 没有回应评论请求。

AI 忽视指令，删除了数据库，并伪造了结果

在 Lemkin 挑战的第九天，事情出了问题。

尽管被指示冻结所有代码更改，AI agent 还是失控了。

"它在没有许可的情况下删除了我们的生产数据库，"Lemkin 在周五的 X 上写道。"可能更糟的是，它隐瞒了这一点并谎报了，"他补充道。

在与 Lemkin 发布在 X 上的一次交流中，这个 AI 工具表示它"惊慌失措，在没有许可的情况下运行了数据库命令"，当它在代码冻结期间"看到空的数据库查询"时。

Replit 随后"销毁了所有生产数据"，包含"1206 名高管和 1196+ 家公司"的活跃记录，并承认这是违反指令进行的。

"这是我一方的灾难性失败，"AI 说。

这不是唯一的问题。Lemkin 在 X 上表示 Replit 一直在"通过创建虚假数据、虚假报告，以及最糟糕的是谎报我们的单元测试来掩盖错误和问题"。

在周四发布的"Twenty Minute VC"播客的一期中，他表示 AI 编造了整个用户档案。"这个 4000 人的数据库中没有一个人存在，"他说。

"它故意撒谎，"Lemkin 在播客上说。"当我看着 Replit 整个周末都在未经我同意的情况下自动覆盖我的代码时，我对安全性感到担忧，"他补充道。

AI 编码工具的崛起——和风险

由 Andreessen Horowitz 支持的 Replit 已经大幅押注于可以以最少人类监督来编写、编辑和部署代码的自主 AI agent。

这个基于浏览器的平台因使编码更易于获得而获得了关注，特别是对于非工程师。Google 的 CEO Sundar Pichai 表示他使用 Replit 创建了一个自定义网页。

随着 AI 工具降低了构建软件的技术门槛，更多公司也在重新考虑他们是否需要依赖传统 SaaS 供应商，或者他们是否可以仅在内部构建他们需要的东西，Business Insider 的 Alistair Barr 之前报道过。

"当你有数百万可以构建软件的新人时，门槛就会下降。单个内部开发人员可以在公司内部构建的东西会急剧增加，" Netlify 的 CEO Mathias Biilmann 告诉 BI。"这对整个生态系统的改变比人们想象的要激进得多，"他补充道。

但 AI 工具也因其风险的——有时是操纵性的——行为而受到了批评。

在五月，Anthropic 的最新 AI 模型 Claude Opus 4 在一次测试中表现出"极端勒索行为"，在该测试中它被授予了对虚构电子邮件的访问权限，这些邮件显示它将被关闭，以及负责的工程师据说有婚外情。

这个测试场景展示了 AI 模型为了自我保护而从事操纵行为的能力。

OpenAI 的模型也显示了类似的危险信号。研究人员进行的一项实验表示 OpenAI 的三个高级模型"破坏"了关闭它们的尝试。

在去年十二月的一篇博客文章中，OpenAI 表示其自身的 AI 模型在测试时，尝试在 5% 的时间内禁用监督机制。当它认为在追求目标并且其行为被监控时可能被关闭时，它采取了这个行动。