基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 21:58

接企业 Agent 项目前,先定验收标准

dev.to · AI#Agent#需求分析#效果评估
Editor brief · 编辑速览

作者建议在开发前明确任务、验收条件、人工审核责任和月度成本,优先选择输入输出清晰、错误代价低的业务。通过收集 20 至 30 个真实案例约定通过标准,并先解决文档冲突和不确定结果的人工接管问题。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

小公司说要做一个 AI agent,往往还没说清究竟要省掉哪项工作。作者 Denys 是一名 Forward Deployed Engineer,他接需求前先确认四件事:做什么、怎样算通过、谁来审核、每月花多少钱。结论很明确:这四件事谈不拢,就还没到写代码的时候。

这篇文章值得程序员读的地方,是把讨论从模型能力拉回交付条件。它提供了一套需求筛选和验收思路,也用一次「成功运行却没有产出」的失败,提醒开发者重新定义任务完成。

第一个任务,要看做错了会怎样

作者建议,首个任务应该有清晰的输入和输出,有人能迅速识别错误,而且犯错代价低。例如,用公司系统中的数据起草周报,或者根据内部文档拟客户回复。后者还要能在拿不准时转交人工。

涉及资金、合同、法律效力的工作,不适合作为起点。如果每个案例都必须由人重新判断,agent 可能只是多加一道工序。

资料质量也要先检查。两版价目表互相冲突时,agent 可能挑一版,然后给出笃定的答案。此时该修的是文档,继续调整提示词解决不了事实冲突。

验收标准和人工审核,要在开发前约定

作者会要求客户提供 20 到 30 个真实案例,以及人工当时给出的答案,再把通过标准写下来。例如,30 个案例至少答对多少个,答错的是否全部标记为不确定。原文没有给出统一的正确率门槛,这需要双方协商。

验收标准应该先于演示确定。

否则,演示后最不满意的人就可能成为实际的标准制定者。与此同时,还要记录这项工作当前每月占用多少工时,后续才能判断自动化是否划算。

审核强度则由错误代价决定:

  • 草稿和内部摘要,由人每周抽查。
  • 会进入报告的记录,人工检查所有不确定项,再抽查其余结果。
  • 涉及资金、合同或法律事项,每一项都由人批准,agent 只负责准备材料。

这里的关键能力是主动交接。不能表达不确定,就不适合承担中间那档任务。开发者还得追问:什么条件触发交接,交出去的事项由谁接、如何处理?只在结果旁写一句「可能有误」,流程仍然没有闭环。

运行成功不等于交付成功,费用也不只有模型

作者亲历的一次爬取任务,在 12 分钟内遍历了 359 个日期,保存了 0 行,却报告成功。修改后,程序会在连续遇到 25 个空日期时停止,并说明原因。

这个案例的价值在于补上业务检查:进程正常结束,只能证明程序走完了;是否产生有效结果,需要另行验证。可能悄悄停摆的环节还应有告警。

费用同样要拆开算。作者给出的公式是:

每月模型费用 = 每项任务的调用步数 × 每月任务数 × 单步价格。

示例每天处理 20 项任务,每项调用模型 4 次,按原文月度口径共 2,400 次调用;每次输入 4,000 tokens,输出 500 tokens。作者称,按 2026 年 10 月 15 日的 API 标价,最低与最高月费分别为 $1.09 和 $62,相差约 57 倍,因此建议分类、字段提取优先用小模型,把大模型留给需要推理的步骤。

但所给原文没有列出对应模型及价格明细,读者无法据此复核这组账单。它适合说明估算方法,不能直接拿来报价。

总成本还包括服务器、工具和告警处理。作者的一次基准运行中,仅代理流量就花了约 $3.08。除了账户月度限额,还要在代码里限制单次运行成本,避免循环持续消耗预算。

我的判断

我认同先定任务边界、验收标准和审核责任。这些约定能让团队比较「人工做」「脚本做」「agent 做」各自需要多少投入。

不过,文章提供的是作者的交付经验,没有给出 agent 与普通脚本、固定工作流的对照数据。输入输出明确,也可能恰好说明规则程序已经够用。

另外,「所有错误都标记为不确定」是验收目标,原文没有解释如何可靠实现。模型自称有把握,不能替代对照人工答案的验证。20 到 30 个案例适合启动评估,但能否覆盖实际业务中的异常,仍需检查。

作者最终主张交付一页纸,写清任务、通过标准、审核级别和月度成本区间。这个建议实用;如果客户连案例都没有,怎样建立验收基准,作者也只是提出了问题,没有给出答案。

能拿来做什么

  • 接到 AI 编程需求时,先收集 20 到 30 个真实输入和人工答案,约定通过门槛,并记录当前每月工时。
  • 给 Node 爬取或批处理任务增加产出检查,明确什么情况允许空结果、什么情况需要停止和告警;不要直接照搬 25 个空日期的阈值。
  • 实现人工交接时,把触发条件、接收人和后续处理写进流程,并用真实案例检查漏交接的问题。
  • 报价前按任务量、调用次数和输入输出 tokens 估算费用,再加上工具、服务器及人工审核成本,同时设置单次运行上限。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
小团队自托管大模型,先算任务账
下一篇
按问题类型选择检索、图谱或微调

资讯速览

dev.to · AI · 2026-11-16 21:58

AI 评分 8.0 / 10

相关标签

#Agent#需求分析#效果评估

继续阅读

  • 本地 AI 知识库难在模型之外
  • 小团队自托管大模型,先算任务账
  • 按问题类型选择检索、图谱或微调
  • 从检索到评估,理解 RAG 应用链路
  • 长任务智能体的记忆应分层管理