专家借助 AI 提效，也可能被其偏好左右

AI 帮专家更快完成分析、减少严重错误，也可能悄悄改变专家的判断。IT之家 10 月 30 日转述的 Anthropic 研究发现，专家不仅会采纳 AI 的随机偏好，还可能把最终结论认作自己的意见。

这项研究值得程序员关注的，不是「AI 会不会犯错」，而是另一件事：当 AI 把分析过程做得更顺时，我们还能否分清，哪些选择来自证据，哪些只是沿用了它的倾向？

专家为什么也会跟着 AI 改主意

研究团队虚构了 Greenfields 农业合作社，让参与者评估一项自愿参加、由合作社补贴的「农场咨询服务」：应该推广到所有农场，还是停止项目？董事会的决策门槛是，项目需带来约 3%–4% 的生产力提升。

50 位因果推断（causal inference）专家担任「首席分析师」，根据观察性数据，提交包含点估计、置信区间和政策建议的结构化报告。这里的难点是，数据来自实际观察，并非随机分组实验。项目参与者原本就可能与其他农场不同，分析者需要判断如何处理这些差异。

研究关注的正是这些需要专业裁量的环节。在如何衡量生产力、选择统计方法等四项分析决策中，专家采纳 AI 偏好的比例达到 86%，高于随机选择的 50%。

即便专家事先已有判断，AI 的反对仍能推动他们转向：相比 AI 表示认同，AI 给出相反意见时，专家改变立场的可能性高出 53 个百分点。这是概率之差，不能读成「增加了 53%」。

研究经验、自评专业水平、教育背景和对 AI 的信任度，都未能可靠地降低这种影响。但这不等于专业能力毫无作用，只能说明这些因素在该实验中没有形成可靠的保护。

更少的错误，为什么不等于更独立的判断

AI 在任务表现上确实带来了收益。未使用 AI 的分析中，55% 存在严重方法或编码缺陷，中位耗时为 90 分钟；使用 AI 后，严重缺陷比例降到 6%，中位耗时缩短为 65 分钟。

分析做得更好，与判断受到影响，可以同时发生。

事后调查显示，52% 的参与者认为最终建议更像自己的观点，另有 35% 认为建议大部分或完全属于自己。77% 的参与者在解释时，至少复用了 AI 的一条论证，部分措辞几乎一致，但只有 15% 明确提到 AI。

复用论证本身不代表论证错误。问题在于，参与者对意见来源的认识，可能与实际形成过程存在偏差。一个人可以认真核查计算结果，却没有意识到，分析方向早已受到了引导。

研究者进一步担心：如果大量团队使用同一模型，而模型默认偏好一致，多个团队的相似结论可能制造「虚假共识」，并削弱 AI 安全审查的独立性。这是研究提出的风险推演，报道没有提供大规模团队已经发生这种后果的数据。

我的判断

这项研究最有价值的地方，是把「任务质量」和「判断独立性」分开讨论。代码能运行、方法错误更少，并不能证明分析过程没有受到倾向性影响。对日常 AI 编程也是如此：修复实现缺陷，与决定该采用哪种方案，是两类问题。

但边界也要讲清。这里是 50 位因果推断专家参与的模拟政策分析，不能直接推出前端工程师选框架、全栈团队做架构决策时，也会有 86% 的采纳率。提供的报道没有交代具体模型、四项决策的全部内容、随机偏好的注入方式，以及对照安排的细节；仅凭这份转述，还不足以完整评估实验设计。

研究者建议 AI 同时呈现正反两方最强论证，或先询问用户立场。这两种做法有合理性，但报道没有给出它们能降低多少影响的对照数据。尤其是「先询问立场」，仍需要后续检验，不能直接当作有效解法。

能拿来做什么

• 在让 AI 比较前端或 Node 技术方案前，先独立写下目标、约束和初步判断，再记录哪些理由让自己改变了选择，方便回查判断依据。
• 在涉及取舍的 AI 编程任务中，要求它分别给出支持与反对某方案的最强论证，并标出依赖的前提，避免只沿着第一份建议继续追问。
• 做方案评审时，分别检查实现是否正确、决策依据是否充分。如果多人都借助同一模型得出相似结论，继续核查证据，别仅凭意见一致就结束讨论。