模型自我训练，如何避免错误被强化

模型用自己的输出继续训练，成绩变好，是否就代表能力变强？dev.to 的一篇文章以 Sakana AI 的自我改进实验为切入点，质疑生成训练数据与评判结果之间缺少独立性。作者担心，内部验证的提升可能掩盖持续被强化的判断偏差；现有节选尚不足以确认相关实验是否存在这一问题。

目前能确认什么

节选援引了模型相对基础版本取得 69.9% 胜率的结果，并称实验从多次生成的轨迹中筛选数据，再划分训练与验证部分。这些是作者对实验的描述，现有材料没有提供完整的评测设置，也不足以核实作者对评判流程的概括。

这里要区分两件事：数据有没有分开，以及评价标准是否可靠。

验证集用于检查训练后的表现，但即使样本与训练集分离，评判者仍可能带有相同偏差。偏好比较回答的是两个输出中哪个更受偏爱；它不能单独证明被选中的答案符合事实或业务要求。

内部指标提升，不能单独证明生产质量改善。

作者提出的应对方向包括：建立由人核验的外部标准答案、引入不同背景的评审者，以及每轮训练后用外部留出数据验证。

我的判断

对正在做微调、自动标注或模型反馈闭环的程序员，最该审查的是「谁定义了好答案」。如果训练样本由模型筛选，验收又沿用同一套偏好，就需要增加独立检查，例如用可执行测试验证代码行为，用人工核验的样本检查事实错误。

多模型互评可以补充视角，但模型数量增加并不自动带来评估独立性，共同盲点仍可能保留。

原文节选没有说清胜率对应的任务、裁判来源，以及外部评估如何参与各轮迭代。因此，目前能成立的是对评估独立性的提醒，不能据此断言 Sakana AI 的模型已经学会「自信地犯错」，更不能把作者对生产故障的担忧当成已发生的结果。