比较 AI 数据集,先统一样本口径
文章以任务、对话、提交前后配对和完整执行会话等数据为例,强调统计前先明确每条记录代表什么。缺失过程信息应标为不适用,并将数据内容审计与模型效果评估分开。
AI 深度解读
把 bug 修复任务、合成对话、代码修改前后对和完整执行会话放进同一张表,最容易出的问题,是把不同含义的「一行」当成同一种样本。后面的数量、工具调用次数,甚至成本判断,都可能跟着失真。
作者提出了一套只检查数据内容的比较方法:先统一统计口径,再检查执行证据、失败恢复和交付完整度,最后公开自己输掉的指标。它适合给 AI 编程训练数据做初筛,但不能证明哪份数据训练出来的模型更强。
先问一行是什么,再讨论谁的数据更多
原文列出的数据形态差异很大:SWE-smith 的一行是注入了 bug 的任务,ToolACE 是编造的对话,CommitPackFT 是修改前后的代码对,作者自己的 MegaBit-trajctories 则是一段实际运行过的完整会话。
这些记录承载的信息不同。一次完整会话可能包含多轮分析、工具调用和重试;一个代码前后对可能只记录起点与终点。直接比较行数,回答不了谁提供了更多可学习的过程。
统一口径的第一步,是为每份数据写清「一行代表什么」。
如果某份数据没有记录执行过程,工具调用次数应标为 N/A,而不是零。零表示这个维度适用、但没有发生;N/A 表示数据结构根本无法回答这个问题。把两者混在一起,容易把用途差异写成质量差距。
作者还限定了比较范围:检查数据包里有什么,不推断它会给模型带来多少收益。他称这项工作只需要 CPU、一份脚本和一个下午,无须 GPU 或训练。这是作者对自身工作量的描述,不能直接当成所有数据集的成本承诺。
六类检查,要从数量一路查到证据
作者把检查项目分成六类。原文在这一部分有重复段落,实际检查类别仍是六个。
第一类是规模与成本:行数、仓库数、语言数、下载体积,以及能否一行代码加载。Token 数必须使用同一个 tokenizer,并且统计真正准备送进训练的文本。只统计代码正文,却漏掉系统提示或工具输出,会低估实际输入规模。
第二类是过程深度:每行有多少 assistant 轮次、多少次工具调用,以及多少比例的记录包含真实工具结果。这里关心的是样本保留了多少行动过程。
第三类是真实执行:工具输出有没有退出码、stderr、耗时和真实 traceback;数据说明卡有没有交代运行方式,能否抽查验证。格式像终端输出,并不足以证明程序确实运行过,这些线索需要结合来源说明一起看。
第四类是失败与恢复:真实失败运行占比、被拒绝的编辑占比、报错后继续采取行动的比例,以及最长的错误到重试链。对编程 Agent 来说,只看到成功结果,与看到失败后如何调整,提供的是不同信息。
第五类是任务目标与验证证据:任务来自人工提交、注入 bug,还是编造的需求?有没有可供评分的参考答案?是否附带 verifier、hash,以及逐行的许可证和 commit?verifier 能否实际通过?
第六类是封装与披露:工具 schema 是否齐全,截断策略与标记是否明确,数据划分标签有没有理由,未完成运行是否标注,局限是否公开。这些信息决定了使用者能否正确解释数据,而不只是顺利下载文件。
每行和每千 Token 都要算,但归一化也有边界
作者要求每项计数提供两种口径:每行,以及每 1k tokens。长会话天然有机会积累更多工具调用,按 Token 归一化,可以帮助识别这种长度带来的优势。
他还设计了「恢复密度」:每 10k tokens 中,出现真实错误并随后得到真实修复的次数。所有数据集都按同一指标计算,包括作者自己的数据。结果 SWE-Gym 在这个指标上胜过了他,他也公开了这一结果。
不过,原文没有给出识别「真实修复」的完整规则。一次重试后命令成功,是否足以算修复?如何区分同一错误的多次尝试?这些定义会直接影响结果,不能只看指标名称。
另一个要求是固定每份数据的版本、hash 和日期。作者说,自己的数据在发表前一天还发生过变化;如果不固定版本,表格第二天就可能过时。
最终交付物也应可复核:一张约十八行、五列的表格,配上脚本、各数据集的原始输出,以及版本和日期表。作者要求把规模信息放在前面,不夹带模型性能结论。
我的判断
我赞同这套方法对「可比较性」的重视。尤其是 N/A、统一 tokenizer、固定版本和公开劣势,都是成本不高、却能明显减少误导的做法。
但「每 Token 就无法取巧」说得太满了。Token 口径能控制长度差异,却不能自动衡量信息价值。冗长日志、重复报错、短而有效的修复,其训练价值未必与 Token 数成比例。恢复密度适合描述某种内容特征,不能独自充当数据质量总分。
作者也明确承认,自家数据在规模、仓库数、语言数、重试链长度、已发表的训练验证证据和污染问题上处于劣势。不过,这篇原文没有展开污染的定义与检测方法,也没有附上训练效果对照。读者能接受的是他的比较原则,不能据此替其数据质量背书。
合成数据同样不该被直接判为虚假。作者指出,SWE-smith 和 SWE-Gym 都运行真实代码,差异在任务来源与封装方式;ToolACE 则在说明卡中披露了合成设计。来源是否合成、过程是否真实执行,是两个需要分开回答的问题。
另外,标题写的是比较 6 个数据集,开头却说五个,随后最初只列出四个名称。这种数量不一致,也提醒我们:方法听起来严谨,具体表格仍要逐项核对。
能拿来做什么
- 给前端或 Node 编程 Agent 挑选训练数据时,先写清每行是任务、补丁还是完整会话,再比较规模;没有过程记录的维度填 N/A。
- 检查失败恢复样本时,同时看每行计数和每 1k tokens 计数,并先定义什么算失败、重试与修复,避免长日志天然占优。
- 在团队评审中附上数据版本、hash、日期、统计脚本和原始输出,让别人能够复核;分析第三方数据时,不直接重新分发其样本。
- 把这套检查用于训练前初筛。需要判断模型收益时,再安排训练和评测;数据内容统计无法代替效果验证。