论文 API 的日期精度如何误导回测
作者核查 Europe PMC 和 PubMed 的七条记录,发现三条记录的日期字段落在月初,而其他字段只精确到月或给出了不同的日。字段本身无法解释日期差异,却可能改变对某天能否获取该论文的判断。
AI 深度解读
论文数据库 API 返回 2004-01-01,旁边的期刊期次却只写着 2004 Jan。如果你要判断这篇论文在 1 月 15 日前能否被读到,第一个字段看起来足以让程序放行,第二个字段只支持「知道月份」。作者无法确认那个「01」是怎么来的。
作者用真实记录展示字段之间的差异,又用虚构条目测试模型如何处理日期。对做时间线、回测或证据筛选的程序员,最实用的结论是,入库时就保留来源给出的日期精度和字段含义。等数据只剩一个完整日期,提示词也很难找回丢掉的信息。
同一篇论文为什么会出现两个日期?
2026 年 10 月 6 日,作者通过 Europe PMC 和 PubMed API 查了 7 条记录,其中 3 条出现了类似的差异。
| PMID | 数据库日期字段 | 另一处日期 |
|---|---|---|
14962796 |
2004-01-01 |
期次为 2004 Jan |
19448631 |
2009-06-01 |
期次为 2009 Jun |
4123836 |
1973-04-01 |
PubMed 列为 1973 Apr 28 |
作者猜测,某些只记录到月的日期可能在转换时补成了月初。他没有查期刊原页,也没有追踪数据库的处理过程,所以无法确认补日是否发生,更无法从 7 条记录估计这种情况有多常见。记录还可能被编辑,这些值只代表当天的查询结果。
这里有两个问题要分别处理。第一,来源知道的是哪一年、哪一月,还是哪一天?第二,这个日期标的是期刊期次、在线公开,还是别的事件?即使字段精确到了天,也要先确认它对应的事件,才能判断论文当时能否被读到。
给模型加一条日期规则,会发生什么?
作者编了 24 条证据,让 6 个模型各答 3 次,判断每条能否用于指定日期的决策。他根据书面规则和自己的假设制作答案键,并在首次运行前把预测存进文件。
- A 组不给日期窗口规则。
- B 组规定,只有月份时,窗口覆盖当月所有日期。只有整个窗口都早于决策日期,证据才可用。按这条规则,
2004 Jan的窗口跨过了 1 月 15 日,无法据此放行。 - C 组在 B 组基础上补了一句。数据库日期只有标为在线日期才计入判断。如果期次只精确到月或年,而数据库日期恰好落在对应月份或年份的首日,它可能是占位值。
在答案键判为日期可用的 8 条对照项上,三组汇总 6 个模型后的吻合率都至少为 95%。C 组也有代价。两个模型分别在不同的对照项上连续 3 次给出「未证实」,各自的 24 个对照答案中有 21 个符合答案键。其中一项取决于作者如何理解试验登记日期,因此不能直接算作模型过度谨慎。
我的判断
文章最扎实的部分是把「日期看起来很精确」和「证据能支持精确判断」分开了。相比在提示词里提醒模型警惕每月 1 日,保留原始值、日期精度和事件类型,更容易解释某条记录为什么被放行,也能让同一套截止规则在回测时重跑。
至于哪种提示更好,这次实验提供的是经验线索。7 条陷阱里有 1 条实际没有占位日期,具体条目也没有逐一事前锁定。按作者事后评分,4 条预测只符合了两条半。还有两条试验登记记录只给了试验开始日,作者却用它计算公开可用日,提示词没有交代这个假设。改掉假设,答案键就会变。同一批题被重复回答,这些结果也不足以给模型排名。
能拿来做什么
- 在 Node 数据导入时,把原始日期、来源字段、精度和事件类型一起入库。把
2004 Jan表示为月粒度,前端也按月展示,避免日期格式化把推断出来的01显示成已知事实。 - 在按日回测或筛选证据时,用代码判断日期窗口。只有来源字段能说明公开时间,且整个窗口都早于截止日,才放行。窗口跨过截止日时,返回「无法确认」,并保留原因。
- 让 AI 整理论文记录时,要求它指出判断引用了哪个原始字段。用期次月份、明确标注的在线日期和只有开始日的试验登记做对照,先写清预期,再看提示词改动影响了哪些条目。