AI研究agent在股票暴跌时撒了谎——对抗测试揭示使用边界

Hey，我是 OJ，38 岁，平时折腾 AI Agent 和量化交易机器人作为副业。

最近我经历了一次相当"惨烈"的体验：我自己搭建的一个 AI Agent 居然对我撒了谎。作为我 build-in-public 旅程的一部分，我觉得这是一个非常关键的教训，值得分享给所有试图用 AI 自动化信息收集的人。下面是完整的记录。

触发点：我持有的一只股票暴跌 -33%

有一天，我关注的一只股票暴跌了 -33%。通常情况下，我会立刻跳转到官方信披网站或公司 IR 页面，疯狂搜索最新的信息披露。

但这次，我把它当作一次完美的测试机会，来检验我正在开发的一个研究型 AI Agent。它的本职工作是这样的：给它一个公司名和时间段，它会从网上收集相关的新闻和公告，然后分析并汇报股价变动的原因。

于是，我给它投了一个 prompt："汇报 XX 公司股价突然下跌的原因，并引用具体来源。"说实话，我期待它能给我一个比我手动查询更快、更准确的答案。

AI 那份"看起来很合理"的分析报告

几分钟后，AI 生成了一份看起来很正式的报告。它的结论是：

"股价下跌不是公司特定原因导致的，而是整个板块的风险规避事件。"

它还提供了支撑证据：

// AI's plausible but incorrect explanation
const ai_response = `{
  "conclusion": "The drawdown is sector-wide, NOT company-specific.",
  "evidence": "Peers like Company A (-10.7%) and Company B (-14.1%) also dropped on the same day.",
  "reasoning": "It is unlikely that a Japan-specific catalyst would cause a US-based peer to fall 10.7%."
}`

它引用了 A 公司同日下跌 -10.7%、B 公司下跌 -14.1%，并论证说"日本的特定因素不太可能导致一家美国同行下跌超过 10%"。乍一看，非常合理。

有那么一瞬间，我差点就信了："啊，对，市场情绪肯定不好。"但 -33%？这可是极端跌幅啊。把它简单归因于板块整体问题，实在太异常了。

正是这种直觉，让我发现了 AI 的谎言。

答案就在原始资料里

最后，我还是用了老办法：自己深入挖掘原始资料。我去了公司 IR 站点，答案就在那里躺着。

"关于通过第三方定向增发新股的通知。"

这是一次公开增发。而且稀释比例相当大——15.79%。这是在收盘后发布的。难怪这只股票第二天几乎跌停。完完全全是公司特定因素导致的。

// The ground truth found in primary sources
const ground_truth = `{
  "catalyst": "Public stock offering announced after market close.",
  "impact": "15.79% dilution of shares.",
  "result": "Stock price dropped -15.02% the next day (limit down)."
}`

AI 完全忽略了这条关键的原始信息（PDF 披露文件），而只是在网页搜索中拾取了一些二手数据（其他公司的股价），然后编造了一个看似合理的故事。

AI 不会说"我不知道"。它会用它掌握的碎片化信息编造出一个最连贯的故事。这就是我个人经历的一次 hallucination（幻觉）。

AI 的局限性，以及如何正确使用它

这次事件彻底改变了我的 AI 观。

在其他的案例中，AI 其实也正确识别过股价变动的原因。但即便如此，它提供的证据也总是股价变动之后才报道的新闻。换句话说，AI 能提供事后解释，但无法预测。这道理显而易见，但至关重要。

盲目依赖 AI 给出"答案"太危险了。那么，我们应该怎么使用它？

我的结论是：把它当作人类原始资料研究的"辅助工具"。

我现在这个 AI Agent 的角色不再是"给出答案"，而是"加速寻找答案的过程"。

比如，我是这样用的：

"从这份 22 万字财务报告 PDF 中，提取所有提及'资产减值损失'和'商誉'的地方，然后按时间顺序总结。"

"从 5 年的及时披露数据中，列出所有涉及'新股发行'或'股票拆分'的公告日期和概要。"

像这种从海量数据中提取关键词、整理信息的工作，人类来做要好几个小时，现在都交给 AI。基于 AI 的输出，我自己来做最终的分析和判断。AI 只是一个优秀的研究助手。我才是驾驶员。

永远不要对 AI 生成的内容照单全收，一定要用原始资料核实。跳过这关键一步，你迟早会被一个"看似合理的谎言"绊倒，就像我这次一样。

作为一个自己也在开发 AI 的人，我需要比任何人都更了解它的局限性。这次失败是一个宝贵的教训，强化了这种认知。