大模型研究结论平均不到16个月失效

拿几年前的论文结论判断今天的 LLM，可能已经不准了。Stanford 研究者 Owen Queen 和 James Zou 把 50 条被广泛引用的研究结论放到 20 个模型上复测，发现 44% 已经「过期」，另有 34% 明显减弱。

这项研究值得程序员关注，因为我们选模型、写提示词、设计校验流程时，经常沿用旧印象。不过，结论过期不等于问题消失：模型是否进步，要看具体任务；同一时期发布的模型，也可能差得很远。

44% 的结论过期，到底指什么

两位研究者测试了 8 家开发者在 2024 年 7 月至 2026 年 9 月发布的模型。他们所说的「过期」，指原研究观察到的效应已经大体消失，并不是论文当初做错了。

50 条结论中，44% 已过期，34% 明显减弱，16% 仍然成立，6% 反而增强。在能够估计过期时间的 22 条结论里，平均寿命只有 15.7 个月。按时间看，一年后有 16% 过期，两年后升到 39%。

论文记录的是某个模型在某个时间的表现，不能自动升级成所有 LLM 的长期规律。

但这组比例也有边界。样本是 50 条被广泛引用的结论，不能据此认定整个 LLM 研究领域有 44% 的成果失效。原文也没有交代完整的结论筛选规则、各实验样本量和过期判定阈值，读这些百分比时需要保留这一层限制。

为什么「模型做不到」比行为偏好更容易失效

变化最快的是能力短板。9 条推理相关结论全部减弱，其中 5 条已被判定过期，没有一条维持原状或增强。

这些问题包括数出「strawberry」里的字母、在不熟悉的进制中计算、遗漏长上下文中间的信息，以及用户反驳后放弃原本正确的答案。

研究者给出的解释是：这类任务通常有明确的正确答案，开发者容易把错误转成训练目标。这个解释有合理性，但原文没有提供训练过程的证据，不能把它当成已经验证的因果关系。

偏好和倾向更顽固。在仍成立或增强的 11 条结论中，3 条涉及模型充当评委：偏爱自己的回答，对已录用和被拒论文给出相近评价，以及受到医学摘要措辞包装的影响。另有 3 条涉及迎合用户、赞同用户。

其他持续存在的现象还包括左倾政治偏好、对开放问题给出高度相似的答案，以及生成随机数时分布不均匀。社会偏见也没有统一走向：性别刻板印象和隐性联想偏见减弱，对非裔美国英语使用者的偏见则在趋势数据中出现了方向翻转。

这对 AI 编程流程有个直接提醒：代码题答得更好，不能证明它评审自己的方案时也更公正。能力和行为倾向需要分别检查。

引用造假降到零，为什么仍不能放心

研究中最直观的案例是编造科学文献引用。Walters 和 Wilder 在 2023 年的研究里发现，GPT-3.5 有 55% 的引用是虚构的。两位研究者复用相同提示词后，GPT-6.1 Sol 的比例为 0%，Claude Sonnet 5.5 为 1%。

同样是 2026 年的模型，Qwen3.7-Flash 却达到 69%。

这里的 0% 只表示该测试中没有发现虚构引用，不能扩展成模型在所有任务里都不会幻觉。原文没有给出这项测试的样本量，也不能据此估计罕见错误的概率。

另一项测试更能说明问题。「两跳问题」要求模型把两个已知事实接起来推导答案。Claude Sonnet 5.5 即使分别答对两个单独问题，组合后仍有约 10% 的情况失败；原论文中 ChatGPT 的对应比例是 43%。「Reversal Curse」，也就是学会一个方向的关系却不能反向回答，以及成对时间问题中的答案矛盾，都有所减弱，但依然能测出来。

模型之间的差距同样明显。在 2026 年 7 月至 9 月发布的模型中，DeepSeek V4 Pro 对应的过期结论有 11 条，GPT-6.1 Sol 则有 30 条。发布日期、提供商和模型规模，都不能可靠预测这种分布。

「新模型」不是一个足够精确的能力标签。

我的判断

这项研究最有价值的地方，是要求我们给经验加上适用范围。研究者建议记录模型、版本和测试日期，公开提示词与分析代码，让后来的模型能够接受同样的复测。这比争论某个模型「聪不聪明」更有操作价值。

但过期结论更多，也不等于模型综合能力更强。这批测试覆盖的是特定研究现象，没有覆盖所有任务，更没有直接衡量成本、延迟和工程稳定性，不能把结果当成通用排行榜。

对普通团队而言，照搬整套学术复测成本可能太高。我的取舍是保留复测原则，缩小测试范围：用自己真正依赖的任务持续评估，比照着旧论文一刀切地禁用某项能力更有依据；也比听到新模型发布，就撤掉校验流程更稳妥。这是工程建议，原文没有提供两种做法的团队对照数据。

能拿来做什么

• 给团队常用的 AI 编程任务保留固定样例，例如代码修改、长上下文定位和方案评审；记录模型版本、日期与提示词，升级模型时重新运行。
• 对模型生成的技术引用继续核验来源。某个模型在科学文献测试中达到 0%，不足以证明它提供的前端或 Node 技术依据都可靠。
• 使用模型评审代码和方案时，单独检查它是否偏爱自己的输出、是否被提问措辞带偏，别用代码生成能力替代对评审可靠性的验证。
• 遇到涉及多步事实组合的回答，拆开检查事实和推导过程。两条事实分别正确，最终结论仍可能出错。