AI 生成结果18%有幻觉：我的七天追踪实验

上周我做了一个实验。每次 AI agent 生成输出时，我都会手动验证并记录它是否正确。

结果令人尴尬。

在跨 Claude、GPT 和 DeepSeek 的 200 次输出中：

• 36 次自信地错了（18%）
• 12 次伪造了引用或参考资料
• 8 次尝试用幻觉的参数调用工具
• 4 次泄露了 system prompt 内容

这意味着近五分之一的 token 预算花在了我不得不手动 catch 并重做的输出上。

LLM 被优化为听起来有说服力，而不是追求正确。当它们遇到不确定性时，会用看起来合理的内容填补空白。问题是 plausible 不等于 true，而在代码中，"看似合理但错误" 的东西需要花几个小时来 debug。

一个验证层，夹在模型和你的工作区之间。它在生成之后、输出到达你的代码库之前运行：

• Citation checker — 根据实际来源验证引用
• Code validator — 检查语法和逻辑一致性
• Safety leak detector — catch 泄露的 system prompt
• Argument verifier — 根据 schema 检查工具调用参数
• Coherence scorer — 将输出与原始 prompt 对比

全部在 CPU 上 100ms 内完成。与模型无关。免费。

Download: https://agent-download-site.vercel.app

试着审计你自己的 agent 输出一天。你可能会对发现的东西感到惊讶。

We're a place where coders share, stay up-to-date and grow their careers.