交换答案顺序，检验模型裁判偏差

把两份答案交换顺序，评审模型就换了一个赢家。作者用这个实验提醒我们：让 LLM 给答案打分时，榜单可能混入了位置带来的优势。他报告，排在第一位的答案平均能多拿 10 到 15 分，满分为 100 分。

作者给出的改法是：多个模型独立评审，让候选答案轮流坐到 slot A、slot B，再汇总平均分。这个流程适合用来检查 AI 应用的评估是否可靠，但原文里的实验数字和「轮换能消除偏差」的结论，还需要分开看。

同样的答案，为什么换个位置就赢了

作者的测试只改一个变量：先让模型比较两份答案，记录结果；再交换它们的位置，保持答案内容和评分提示词不变，重新评审。

如果评审只看质量，同一份答案应该继续胜出。但作者观察到了赢家变化，并称扩大样本后，第一位答案平均获得了 100 分制下的 10 到 15 分优势。

这种现象叫位置偏差（position bias）。放到评估流水线里，它很容易被藏起来：候选答案按生成顺序进入评审，模型打一次分，系统直接保存排名。整个流程没有检查过，交换位置后结果是否仍然成立。

重复得到同一个排名，只能证明流程稳定，不能证明它评得准确。

作者还列出两种可能叠加的偏差。篇幅偏差（verbosity bias）让长答案更容易得到好评，即使增加的只是重复表达；自我偏好（self-preference）让模型更喜欢接近自身写作风格的答案。这样一来，看似统一的质量分，可能同时混入顺序、长度和风格的影响。

原文把位置偏差解释为长上下文中的注意力漂移，以及首个答案对后续判断的影响。不过，文中没有提供能验证这套机制的实验，不能把原因解释和观察结果当成同一级别的证据。

多找几个模型，为什么还要交换位置

作者提出的评审流程有三步：

1. 让多个不同模型独立评分，避免只依赖一个惯用模型。
2. 轮换候选位置，让同一份答案分别出现在 slot A 和 slot B。
3. 汇总所有评审模型、两种顺序下的得分，再计算平均值。

关键在第二步。如果每个模型看到的候选顺序都相同，增加评委数量仍然可能保留相同的顺序优势。模型多了，不代表误差自然抵消。

以两份答案为例，第一轮按 A、B 展示，第二轮按 B、A 展示。汇总时必须按答案身份对应得分，不能把「第一位的分数」直接当成某份答案的固定成绩。这个细节决定了轮换有没有真正落地。

按照作者的方案，轮换会让评审运行次数翻倍。多个评委还会进一步增加调用量，但原文没有给出模型数量、具体模型或成本数据。

作者把这套方法称为对抗式评审小组。不过，文中描述的是不同模型独立打分，并没有展示模型之间互相质询、辩论或反驳的过程。实际能照着实施的部分，就是独立评审、位置轮换和结果聚合。

219 个变体只剩两个，能说明多少问题

作者称，最近把同一个方案的 219 个变体交给这套评审流程，最终只留下两个真正凭内容胜出的版本。他据此认为，其余变体此前的优势主要来自排列位置。

这个案例很醒目，但原文没有公开任务内容、候选差异、评分标准、胜出门槛，也没有给出逐项结果。因此，我们只能确认这是作者报告的实验结论，无法据此判断每个落选方案究竟差在哪里。

尤其是「219 个变体最后保留两个」和「其余变体都只靠位置获胜」，中间还缺少证据。筛选结果本身不能证明所有落选者的优势都来自同一个因素。

原文还提到 Adaline 在 2026 年文章中引用的研究，涉及位置偏差、篇幅偏差和自我偏好。但所给内容没有展开研究设计或具体数据，不能拿这条引用替作者的全部判断背书。

我的判断

我认同作者最实用的一点：在把 LLM 评分接进看板之前，先检查它对输入顺序是否敏感。交换两份答案的成本低，检查的问题也足够明确，比直接相信一张分数表更有价值。

但「轮换后只剩纯粹的内容质量」说得太满。

轮换能平衡位置暴露，不能保证所有评审偏差都被消除。

只有当位置优势在两轮中相对对称，平均才可能较好地抵消它。候选内容与位置的交互、篇幅偏好、评分标准模糊，以及多个模型共享的偏好，都可能继续影响结果。对于多个候选如何完整轮换，原文也没有给出具体安排。

与固定顺序、单模型、单次评分相比，这套方案提供了更充分的检查；与确定性测试和人工评审相比，它仍然只是质量证据的一部分。代码能否运行、测试是否通过，可以直接验证；解释是否清楚、方案是否贴合需求，才更适合交给模型辅助比较。

作者没有提供这几种方法的对照数据，所以「多模型加轮换究竟改善多少」仍应视为经验之谈，而不是已被文中证实的通用收益。

能拿来做什么

• 如果你在比较 AI 生成的前端方案、Node 实现或提示词版本，先固定任务与评分要求，对同一对候选交换顺序评两次，检查赢家和分数是否明显变化。
• 在评审日志里保存候选身份、展示位置、评审模型、评分提示词和原始结果，让排名变化能够追溯到具体输入。
• 对需要稳定排名的候选，引入多个模型独立评审并轮换位置，按候选身份聚合分数，同时保留各轮结果，避免平均值掩盖分歧。
• 评估代码答案时，先收集运行和测试结果，再让模型比较可读性与需求匹配度；固定这把尺子后，再按作者提出的 keep-if-better 原则，只保留有证据支持的改进。