AI倒查百年论文：99.2%顶刊存在可疑问题

程浅 发自 凹非寺 量子位 | 公众号 QbitAI

谁再说科研已经没有新问题了？好方向全被前人占满了？？

那些已经发表的顶刊论文里，大多都有问题呢？

最近，有研究者用AI Agent「学术打假」后发现：

2026年国际机器学习大会（ICML）上报告的92篇论文中，有58篇已经无法复现。

通常一篇论文能够进入顶级会议，就说明它已经经过了同行评审。

然而受精力所限，同行评审审稿人几乎没有时间从头下载数据、运行模型或复现实验，以验证论文中的每一个实验结论。

与此同时随着AI领域的论文数量爆炸增长，模型越来越复杂，实验规模越来越大，一篇论文背后的代码、数据、参数设置可能涉及数百个细节。

论文的可验证性也就变得越发重要，论文发表了，但其中的结论能被重新跑出来吗？

目前，AI Agent大大降低了这种验证和复现的成本。

7月22日，美国某研究审查公司用AI Agent对ICML 2026全部168篇口头报告论文进行了系统性的结果复现审计。

168篇论文中有92篇拥有至少5条可供验证的结论性声明。

最终的结果是：AI Agent能够成功复现超过四成结论的，只有34篇；而能复现八成以上结论的，仅有8篇。

不过需要说明的是，"无法复现"和"研究造假"之间还存在着巨大区别。

复现失败的原因包括不限于代码缺少关键文件、依赖库版本断裂、运行结果与论文不符，还有4篇论文依赖的模型已下线，这意味着实验结果已经永久性地无法被任何人复现。

比如，一篇论文将「仅训练基础模型0.77%的参数」作为核心卖点，但其实际开源的checkpoint训练了6.31%的参数，相差约8倍。

另一篇论文放了一张基于某评判模型的可靠性表格，但其开源代码中根本不包含该评判模型，也没有任何脚本能够生成表格里的结果。

无独有偶，2026年抱抱脸与AlphaXiv联合发起针对ICML 2026的「Agent Reproduction Challenge」挑战赛，邀请研究者使用AI Coding Agent对ICML 2026接收的论文进行自动化复现，结果同样很不乐观。

类似的趋势在论文错漏检测中的体现更令人惊异。

2025年底，一项研究开发了基于GPT-5的论文检查系统，用于分析已经发表在顶级 AI 会议和期刊上的论文，寻找可以客观验证的问题。研究者非常明确地表示：

我们只看「客观错误」，我们不管论文的创新性和研究价值。

最终结果显示，平均每篇论文被检测出4.7个客观错误，99.2%的论文至少被标记出了一个问题。

从错误类型来看，数学与公式错误占比最高，达到54.0%（包括方程式写错、推导逻辑有漏洞、证明中的错误假设等）。

大约30.8%的NeurIPS论文和23.8%的ICLR论文包含至少一个可能影响结果解读的实质性错误。

更值得注意的是时间趋势：NeurIPS论文的篇均错误数从2021年的3.8个上升至2025年的5.9个，涨幅55.3%。

或许在今后，论文发表不再意味着研究宣告「胜利」，而只是再次进入了下一轮AI验证的开始。

所以，朋友们，这对正在愁选题的人来说，可能还真是个相当意外的「利好」。

查文献挑错、写勘误，本来就是学术圈里正经八百的产出形式，如今看来，完全的学术蓝海啊。

具体怎么下手？给愁选题的学术萌新们支几招：

从"找新选题"转向"找旧论文里的异常点"，重点关注那些被大量引用但争议较少的经典论文。毕竟"99.2%的论文至少有一处错误"。

这种知识地图可以帮你理解——哪些是真正的奠基性工作？哪些研究观点目前还存在争议？哪些结论被大量引用但缺少验证？不同论文之间的引用关系是什么？从而由此找到过去难以发现的连接和异常。

科学史上的很多重要突破并不来自于提出全新的问题，而来自重新审视一个长期被接受的假设。

例如：一个经典实验是否按照今天的标准被验证过？一个被广泛引用的结论，是否存在未被注意的限制条件？

过去，这种追问成本非常高，研究者需要花费大量时间查阅原始文献、比较实验细节，而如今AI让这种成本几乎归零了。

最近，浙江实验室理论化学家Pios在使用AI预测分子沸点时，发现结果与一份75年前的化学数据库存在明显冲突。

对此，任何人的第一反应可能都是"那肯定是我错了呗"。

Pios也不例外，他连忙检查自己的模型。但在手动回溯了原始文献之后他发现：天呐，AI竟然是对的那一个。

Pios大为惊讶，随后用AI继续核查，竟然还发现了一份约一个世纪前且被学界公认权威的沸点测量值也是错的。

要知道，这些数据已经被经年累月地引用、吸纳于后代的研究之中。

这类问题此前长期未被发现可能与科学文献的规模直接相关。

现代科学论文的数量已经远远超出任何个体研究者的阅读极限，例如，仅一家人工智能顶会ICLR的年度投稿量就从2018年的1013篇上升至2026年的19619篇。

在这样的规模下，一处最初出现在某篇论文中的错误一旦被后续文献反复引用，就会沿着引用链持续传递，形成事实上的学术共识。

由于年代久远、引用链条复杂，加之复核工作耗时巨大而学术回报有限，绝大多数已进入文献体系的错误从未被系统性地审视过。

但如今一切都松动了，至少在技术能力上，人们首次具备了大规模重审过往科学文献的可能。

不过，以GPT-5驱动的Paper Correctness Checker为例，其检测精确率为83.2%，且每次检测中仍有约四成真实错误未被检出。

可以说，此类AI事实核查工具本身不足以担任科学文献的判官，AI核查工具的输出结果最后还需要人工来审核。

PDF当死，ARA该立！论文是时候Agent原生了2026-08-10

Opus 5狂烧6.9亿token做游戏，GPT-5.6用5美元复刻了2026-08-09

爆料：哈萨比斯原本要和Jeff Dean一起走！2026-08-09

这人谁啊？哈萨比斯都让位了2026-08-06

联想凌拓今日宣布推出易捷AI解决方案。这一解决方案由联想凌拓提供的全闪存、混合闪存阵列及NVIDIA DGX AI系统提供支持。

第六镜只是一个缩影，但也代表了一种确定的趋势。

量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1