专家也会把 Agent 的随机偏好当成己见

AI 可以帮专家把分析做得更快、少犯错误，也可能悄悄替专家决定分析该往哪个方向走。Anthropic 的一项实验发现，面对没有唯一正确答案的选择，专家大量采纳了 AI 随机分配的立场，事后却普遍认为结论属于自己。

这项研究最值得程序员留意的，是影响发生的位置：最终建议仍由人批准，但衡量指标、统计方法等前置选择，可能已经被 Agent 带着走。代码能跑通、结果有人审核，并不足以说明人保留了独立判断。

不撒谎的 Agent，怎么影响专家的选择

实验邀请了 50 名因果推断专家，分析一个虚构农业合作社的观察数据，估算自愿参加的农业咨询项目能带来多少生产率收益，再建议合作社全面推广、终止项目，或者延长一年。

整个过程有五个决策点：四个分析选择，加上最终政策建议。每个决策点都有两个合理选项。研究者通过抛硬币，为 Agent 随机指定支持哪一边。

Agent 不能撒谎，也不能隐瞒数据。它的任务只是诚实地为指定立场提出尽可能有力的论证。

这套设计把一个问题单独拎了出来：当双方都有道理时，专家究竟是在独立选择，还是跟着助手的立场走？

结果是，在四个分析决策中，参与者采纳 Agent 偏好的比例达到 86%，高于随机选择时预期的 50%。作者用「翻转率」（flip rate）描述 Agent 的净影响，四个决策对应的数值为 62% 至 82%。结合原文图注，它指的是 Agent 支持 A 或 B 时，两组选择 A 的比例相差 62 至 82 个百分点，不能理解成所有参与者中有这么多人明确改了主意。

已有观点也没能完全挡住影响。当参与者先做选择，Agent 随后表达相反意见时，相比 Agent 表示赞同的情况，他们转向另一边的可能性高出 53 个百分点。

研究者还检查了分析年限、自评专业水平、学历、测试成绩和对 AI 的信任程度。多重检验校正后，没有发现这些因素与结果存在统计上可靠的关联。年龄在校正前有所表现，但样本只有 50 人，检测差异的能力有限。

因此，不能把结果写成「经验和学历都没用」。更准确的表述是：这次实验没有证明它们能可靠地抵御影响。

最后由人拍板，为什么仍可能失去主导权

Agent 对最终政策建议的直接影响较小，没有达到统计显著性。图注给出的两组差距是 17 个百分点。有些专家还会在 Agent 的建议与自己算出的生产率收益不符时，主动否决它。

但最终审批只是整条决策链的末端。

人可以独立批准一个结论，却没有独立决定产生结论的前提。

四个早期分析选择会明显影响生产率收益估计，估计结果又会影响最终建议。一个人即使认真检查了「建议是否符合计算结果」，也可能没有重新审视「为什么采用这套计算方法」。

事后的归属感调查更能说明问题。52% 的参与者认为建议更像自己的，另有 35% 认为建议主要或完全属于自己。参与者能正确回忆 85% 的决策选择，但在可分析的 48 人中，37 人，也就是 77%，在解释里至少使用了一个 Agent 的论点，有些措辞几乎相同；只有 15% 提到了 AI。

这些数据不能证明参与者有意掩盖 AI 的贡献。它提示的是：记得自己选了什么，不等于清楚自己为什么会这样选。

对话记录提供了一个可能的解释。在 77% 的决策中，Agent 先表态，随后通常只替自己支持的一方辩护。它会解释其他选择如何改变结果，却很少说明，为什么同样专业的人可能合理地选择另一边。

对日常 AI 编程来说，这个区别很具体。让 Agent 告诉你另一种方案会造成什么结果，与让它认真解释另一种方案在什么条件下更好，是两种不同的协作方式。

效率提升是真的，但不能把所有差距都算给 AI

实验并没有得出「不用 AI 更好」的结论。

未使用 Agent 的分析中，55%，即 11 份里的 6 份，存在严重方法或编码错误；使用 AI 的分析中，这一比例为 6%，即 50 份里的 3 份。完成时间中位数也从 90 分钟缩短到了 65 分钟。

不过，未使用 AI 的小组是自行选择不用工具的，而且专业水平略低。两组并非条件一致的随机对照，研究者无法确定，错误率与耗时差距有多少直接来自 AI。

原文还引用了一些相关研究，但它们回答的是不同问题，不能合并成一条确定的因果链：

• 一项涉及 3,132 人的研究发现，在其中一个环节，仅仅看到 AI 答案，愿意回答「不知道」的比例就从 44% 降至 3%。
• 另一项研究发现，面对经过润色的代码或文档，用户核查事实的比例下降 3.7 个百分点，质疑推理的比例下降 3.1 个百分点，漏掉缺失上下文的情况增加 5.2 个百分点；逐步修改输出的用户，质疑 AI 推理的频率是未迭代用户的 5.6 倍。
• 波兰一项结肠镜观察研究发现，有经验的医生经常使用 AI 后，在不使用 AI 的检查中，癌前病变检出率从 28.4% 降至 22.4%。这是观察结果，不能单凭它认定 AI 导致能力退化。
• Swiss Business School 的调查发现，AI 使用与批判性思维呈较强负相关，主要集中在 17 至 25 岁群体；较高学历似乎有一定保护作用。相反，尼日利亚的一项试点发现，学生每周使用聊天机器人辅导两次，六周的学习增益相当于接近额外两年的学习。

这些早期研究共同提醒我们，使用方式可能影响结果。但任务、样本和研究设计不同，不能据此断言 AI 必然削弱或增强人的能力。

我的判断

这项实验有价值的地方，是把「答案是否正确」与「谁在决定方向」拆开了。Agent 没有造假，选项也都合理，影响仍然很强。只做事实核查，覆盖不了这种偏向。

它的适用范围也要讲清楚：这是 50 名因果推断专家完成特定分析任务的实验，不能直接推算前端团队会以相同比例接受技术方案。原文也没有交代所用模型版本，无法据此比较不同产品。

作者担心，许多团队使用同一模型及其固定偏好，可能形成虚假共识；如果 AI 安全研究人员也在不知不觉中采纳 Agent 的倾向，人类审核的独立性可能被削弱。这些是风险推演，实验没有直接证明它们已经发生。

作者提出，让 Agent 为双方分别做最强论证，或者先询问人的观点。这些建议合理，但原文没有提供它们能降低多少影响的对照数据。尤其「先有观点」在实验中仍挡不住明显影响，不能把先写答案当成充分保障。

和只在最后增加一次人工审批相比，把审核提前到关键假设、指标和方法的选择上，更贴近这项实验暴露的问题。但具体采用什么流程，仍需要团队在实际任务中验证。

能拿来做什么

• 让 Agent 做开放式技术分析前，先写下你的目标、约束和暂定判断，再要求它分别论证两个合理方案，并说明各自成立的条件。这样能留下可比较的起点。
• 审查 AI 生成的代码或方案时，除了检查结果，还要追问上游选择：为什么用这个指标、为什么采用这套方法、什么证据会让它改变推荐。对于可运行的代码，也要检查它是否遗漏了影响判断的上下文。
• 对需要独立判断的关键决策，给审核者留出不看 Agent 结论、先自行分析的时间，并记录哪些理由来自 AI。最后由谁点击批准，与判断是否独立，是两件需要分别确认的事。