接企业 Agent 项目前,先定验收标准
作者建议在开发前明确任务、验收条件、人工审核责任和月度成本,优先选择输入输出清晰、错误代价低的业务。通过收集 20 至 30 个真实案例约定通过标准,并先解决文档冲突和不确定结果的人工接管问题。
AI 深度解读
小公司说要做一个 AI agent,往往还没说清究竟要省掉哪项工作。作者 Denys 是一名 Forward Deployed Engineer,他接需求前先确认四件事:做什么、怎样算通过、谁来审核、每月花多少钱。结论很明确:这四件事谈不拢,就还没到写代码的时候。
这篇文章值得程序员读的地方,是把讨论从模型能力拉回交付条件。它提供了一套需求筛选和验收思路,也用一次「成功运行却没有产出」的失败,提醒开发者重新定义任务完成。
第一个任务,要看做错了会怎样
作者建议,首个任务应该有清晰的输入和输出,有人能迅速识别错误,而且犯错代价低。例如,用公司系统中的数据起草周报,或者根据内部文档拟客户回复。后者还要能在拿不准时转交人工。
涉及资金、合同、法律效力的工作,不适合作为起点。如果每个案例都必须由人重新判断,agent 可能只是多加一道工序。
资料质量也要先检查。两版价目表互相冲突时,agent 可能挑一版,然后给出笃定的答案。此时该修的是文档,继续调整提示词解决不了事实冲突。
验收标准和人工审核,要在开发前约定
作者会要求客户提供 20 到 30 个真实案例,以及人工当时给出的答案,再把通过标准写下来。例如,30 个案例至少答对多少个,答错的是否全部标记为不确定。原文没有给出统一的正确率门槛,这需要双方协商。
验收标准应该先于演示确定。
否则,演示后最不满意的人就可能成为实际的标准制定者。与此同时,还要记录这项工作当前每月占用多少工时,后续才能判断自动化是否划算。
审核强度则由错误代价决定:
- 草稿和内部摘要,由人每周抽查。
- 会进入报告的记录,人工检查所有不确定项,再抽查其余结果。
- 涉及资金、合同或法律事项,每一项都由人批准,agent 只负责准备材料。
这里的关键能力是主动交接。不能表达不确定,就不适合承担中间那档任务。开发者还得追问:什么条件触发交接,交出去的事项由谁接、如何处理?只在结果旁写一句「可能有误」,流程仍然没有闭环。
运行成功不等于交付成功,费用也不只有模型
作者亲历的一次爬取任务,在 12 分钟内遍历了 359 个日期,保存了 0 行,却报告成功。修改后,程序会在连续遇到 25 个空日期时停止,并说明原因。
这个案例的价值在于补上业务检查:进程正常结束,只能证明程序走完了;是否产生有效结果,需要另行验证。可能悄悄停摆的环节还应有告警。
费用同样要拆开算。作者给出的公式是:
每月模型费用 = 每项任务的调用步数 × 每月任务数 × 单步价格。
示例每天处理 20 项任务,每项调用模型 4 次,按原文月度口径共 2,400 次调用;每次输入 4,000 tokens,输出 500 tokens。作者称,按 2026 年 10 月 15 日的 API 标价,最低与最高月费分别为 $1.09 和 $62,相差约 57 倍,因此建议分类、字段提取优先用小模型,把大模型留给需要推理的步骤。
但所给原文没有列出对应模型及价格明细,读者无法据此复核这组账单。它适合说明估算方法,不能直接拿来报价。
总成本还包括服务器、工具和告警处理。作者的一次基准运行中,仅代理流量就花了约 $3.08。除了账户月度限额,还要在代码里限制单次运行成本,避免循环持续消耗预算。
我的判断
我认同先定任务边界、验收标准和审核责任。这些约定能让团队比较「人工做」「脚本做」「agent 做」各自需要多少投入。
不过,文章提供的是作者的交付经验,没有给出 agent 与普通脚本、固定工作流的对照数据。输入输出明确,也可能恰好说明规则程序已经够用。
另外,「所有错误都标记为不确定」是验收目标,原文没有解释如何可靠实现。模型自称有把握,不能替代对照人工答案的验证。20 到 30 个案例适合启动评估,但能否覆盖实际业务中的异常,仍需检查。
作者最终主张交付一页纸,写清任务、通过标准、审核级别和月度成本区间。这个建议实用;如果客户连案例都没有,怎样建立验收基准,作者也只是提出了问题,没有给出答案。
能拿来做什么
- 接到 AI 编程需求时,先收集 20 到 30 个真实输入和人工答案,约定通过门槛,并记录当前每月工时。
- 给 Node 爬取或批处理任务增加产出检查,明确什么情况允许空结果、什么情况需要停止和告警;不要直接照搬 25 个空日期的阈值。
- 实现人工交接时,把触发条件、接收人和后续处理写进流程,并用真实案例检查漏交接的问题。
- 报价前按任务量、调用次数和输入输出 tokens 估算费用,再加上工具、服务器及人工审核成本,同时设置单次运行上限。