8.0
热点
AI SCORE
技术实践2026-11-18 20:30
小模型微调实验中旧任务困惑度升至156
dev.to · AI#模型微调#灾难性遗忘#回归评估
Editor brief · 编辑速览
一个 590 万参数的故事模型微调约 15 秒后学会了新角色,但在原故事任务上的困惑度从约 9 升至 156。课程提供实验笔记本和数据,用于观察灾难性遗忘。
文章思维导图
Knowledge map
AI brief
原文暂未完整获取,基于公开信息的快读
dev.to 上的一篇课程笔记记录了一个小模型微调实验。作者让一个 590 万参数的睡前故事模型学习新角色 Zuri。只用新故事训练约 15 秒后,模型在新角色测试集上的困惑度从 68.32 降到 1.17,原故事测试集上的困惑度却从 9.09 升到 156.08。
目前能确认什么
困惑度(perplexity)衡量模型预测测试文本中下一个 token 的难度,同一测试集上越低越好。微调会更新新旧任务共用的参数,模型学会预测新故事的同时,也可能越来越难预测旧故事。这类退化叫灾难性遗忘。
作者用相同的随机种子和训练步数做了对照。每批 20 个训练窗口里,用 2 个旧故事窗口替换新故事窗口,这种做法叫经验回放(replay)。加入回放后,原故事测试集的困惑度是 11.75,新角色测试集是 1.15。旧任务的退化小了很多,但仍高于微调前的 9.09。
指标改善后,生成时还是会串角色。作者给回放后的模型一个以「从前有一只小猴子」开头的提示,它把小猴子取名为 Zuri,接着讲起了新角色的故事。
我的判断
如果你给现有模型微调了一个新任务,可以在每次训练后用同一份旧任务测试集跑回归,再用一组固定提示检查实际生成结果。这个实验里,模型能较好地预测旧角色的测试文本,却会在自由续写时选错角色。两项检查分别能发现这两类退化。
10% 回放是这次实验的配比。不同配比如何影响新旧任务,要看课程完整对照表。类似收益能否出现在更大的模型或代码任务上,这段实验还回答不了。