8.0
热点
AI SCORE
编程提效2026-11-20 12:05
用十个真实任务评估本地模型
dev.to · AI#本地模型#任务评测
Editor brief · 编辑速览
从近期工作队列挑出十个真实任务,为每项准备参考答案,用实际输入评估本地模型。公开榜单难以反映团队自己的任务和附件,这组测试可帮助判断哪些工作适合从云端 API 迁到本地。
文章思维导图
Knowledge map
AI brief
原文暂未完整获取,基于公开信息的快读
dev.to 上的一篇文章提出,想把某类工作从云端 API 迁到本地模型,可以先从近期工作队列里挑十个真实任务,保留原始输入和附件,为每题写好参考答案或通过条件,再跑候选模型。公开榜单能比较模型在通用测试集上的表现,你手里的扫描件、表格和转发邮件得单独测。
目前能确认什么
作者把这组题称为黄金测试集(golden set),用法类似验收测试。一组只测同一种任务,选七个常见样本、两个难处理的输入,再加一个已知容易出错的样本。比如测发票提取,就可以放入扫描件、改过列名的表格,以及含贷项的发票。
判分规则要在跑模型之前写好。供应商 ID、到期日可以比对确切值,手册问答可以检查关键条款和例外是否都出现。JSON 或 CSV 可以做结构校验,草稿则按事先写明的条目人工评分。结构校验只覆盖格式,字段值仍需单独核对。
我的判断
我会先拿有明确对错的任务做迁移筛选,比如从发票里提取到期日。十题里如果反复错在扫描件上,就有了一个具体的分流依据:先让这类输入继续走云端,再看普通件在同一套规则下的表现。即使输出格式全对,逐条核对日期花了多少时间,也该算进迁移成本。
现有节选没交代迁移的通过门槛,也没给出候选模型与现用云端 API 在同一批输入上的对照结果。十题足以暴露一些具体错法,能否上线还要看后续有没有给出错题处理和人工复核的标准。