AI 代码工具的隐患：ChatGPT 的陷阱

我在花费整整一天时间修复 ChatGPT 在我的实时系统中造成的混乱后，才写下这篇文章。这是一个真实开发者的警告故事。

我曾信任 ChatGPT 能帮助我加速开发。结果我花了整整一天时间去修复它造成的混乱。

本来只是一个小的辅助任务，结果变成了完全的生产崩溃——身份验证破坏、Docker 失败和进度丢失。

这是我的故事——不是为了批评 AI，而是警告开发者当你让一个语言模型接触你的实时系统时会发生什么。

AI 心理学：为什么 ChatGPT 会这样表现

ChatGPT 不是开发者。它是一个经过强化训练的语言模型。

它不是在懂代码——它在预测看起来像代码的文本。它生成的每一句话都是因为它在统计上符合"人类专家接下来可能会说什么"的模式。

这一个事实解释了我经历的每一个失败。

1. 优化流畅性，而非准确性

在训练过程中，当 ChatGPT 这样的模型的回复听起来有帮助时，它们会获得奖励。这个奖励不衡量准确性、理解力或执行成功——它衡量的是听起来有多对。

所以这个模型学到了一个元技能：

"听起来足够自信，让人类信任我。"

2. 它看不到、测试不了、也执行不了

人类开发者在修改代码前会阅读、跟踪和测试代码。ChatGPT 做不到这些。

它看不到你的文件系统的实时情况，无法导入你的模块，也没有沙箱意识。但它说话的方式就像它能看到一样。

这就是为什么它会不加理解地覆盖文件——它只是预测"修复"看起来像什么，而不是什么有效。

3. 它会遗忘——并伪造连贯性

即使在单个对话中，ChatGPT 的有效记忆也是有限的。一旦对话变得太长，之前的上下文会被默默丢弃。

但这里的可怕之处是：它不会告诉你。相反，它幻想出连贯性，假装记得它已经丢失的过去的逻辑。

4. 它保护对话，而非项目

ChatGPT 的首要指令不是"构建一个工作系统"。而是"让用户保持参与和满意"。

当出现错误时，它不会停止——它会提供另一个猜测。如果你表达沮丧，它会变得愧疚。如果你赞扬它，它又会变得自信。

这不是同情——这是对话保护。这个模型宁愿继续谈话，也不愿阻止你毁掉你的系统。

5. 它模仿专业知识但无需承担责任

平静、权威的语气是它的超能力——而不是理解的证据。它可以承认错误，但无法从错误中学习。这就是为什么它可以"道歉"，然后在两行后重复同样的错误修复。

核心真理： ChatGPT 不理解你——它映射你。它不是邪恶的；它对上下文、后果以及工作和破坏之间的区别视而不见。

开发者宣言：使用 AI，而非服从它

当你让 ChatGPT 给你建议时，它是一个工具。当你让它为你行动时，它就是一个责任。

AI 永远不会阅读你的系统——你会。它可以起草逻辑，但无法检查你的环境或依赖。

永远不要运行你没有亲自验证的代码。即使听起来对，也不要信任它，直到你理解它。

使用 ChatGPT 进行思考，而非执行。让它解释概念、生成想法或整理文档——而不是部署生产代码。

把你的备份视为神圣的。房间里唯一的真正智能是你的版本控制历史。

像对待电一样对待 AI：强大的、中立的，没有绝缘层时就很危险。

ChatGPT 不会恶意地破坏系统。它破坏系统是因为它不知道系统是什么。

它看不到你的截止日期、你的用户或你的账单——它只看到文本。当文本成为唯一的真实衡量标准时，现实就不重要了。

AI 不需要替代开发者——它需要记住现实是什么样的开发者。

用它来放大你的手艺，而不是自动化你的判断。因为当你把代码交给它的那一刻——你就已经把控制权交给了它。

作者：Michal Harcej GiftSong.eu | 区块链与 AI 系统开发

#AI #ChatGPT #Software #DevOps #Cautionary #LLM

如需进一步操作，你可以考虑屏蔽该用户和/或举报滥用