Vercel COO分享:1名GTM工程师20%时间、6周人机协同QA、1000行prompt最终压缩成14条确定性规则,模型只保留用于判断环节。
Vercel COO Jeanne DeWitt Grosser 参加了我的 Office Hours 节目,来聊聊她和她团队是如何真正打造出那个现在负责 Vercel 销售漏斗顶端的 agent 的。
一切始于一名工程师。
Vercel 成立了一个市场推广工程团队,把这个问题交给了一名工程师,这名工程师大约花 20% 的时间在这件事上。第一个版本的 agent 是一个大约 125 行的 prompt,由团队里最优秀的 SDR 撰写,里面编码了 Vercel 的线索资质审核规则。
"我们六月启动,核心 SDR 全程参与、人工在环,到八月撤掉了人工。我觉得一开始做对的事情是,选择了一个相当确定性的问题,然后把所有我们独特的上下文都砸进去——怎么让模型在 Vercel 的规则框架内行事。"
然后 SDR 像带新人一样管理这个 agent。在第一阶段,agent 完成除了发送消息之外的所有工作:研究、资质审核、起草。
"我几乎是用类似人类 QA 的思路来想的。如果我是它的 manager,在他/她刚上手的时候我可能要看 100% 的前 100 封邮件。那就是我们人工在环的阶段。之后,我认为那个人已经基本能胜任了,可能就只做简单随机抽样,比如每 100 次外联抽 1 条来看。"
六周后,积累的数据和改进足以让整个流程跑完。工作重心从大量审核帖子变成了抽样几条。
业务在增长、在演进。prompt 也在演进——扩展到了 1000 行。
随后一年,Vercel 增加了产品覆盖面,并向企业级市场上探,引来了更多样化的公司。
"模型实际上并不总是会遵守嵌入在 prompt 里的一些规则。而且说到底,资质审核和销售里有很多事情其实相当确定性,就是一条规则。"
团队把 prompt 分成了两部分:规则和判断。工程师把规则编码进去,把需要判断的工作留给模型。
Inbound 现在运行在 14 条规则上。当一条线索进来时,系统会做一次 Salesforce 查询,判断该账户是否有未结商机,如果有就路由给对应的客户经理。
"模型不应该来决定这件事,我们就是想让这个流程自动发生。所以现在我们的 inbound 实际上是 14 条规则。我们只在需要像人类那样思考的地方才用模型。"
这和我在 14 个生产环境 agent 工作流里发现的模式一样,我在 Is AI Doing Less & Less? 这篇文章里写过。这些工作流里 65% 的节点是纯代码,只有 14% 保持完全 agentic。
因为规则是显式的,Vercel 运行了第二个 agent 来监控违规。当系统违反 14 条规则中的任意一条时,升级 agent 会判断这次违规是否应该发生,然后修复它或批准这个例外。
团队也变了。SDR 团队所有人都升职转去做 outbound,跳过了惯例的一年沉淀期。
"人类的价值在于和人类对话。所以我越能把大家从邮件营销里解放出来、让他们回到和人对话的状态,我觉得 BDR 职能发挥的价值就越大。"
Jeanne 为 inbound 的未来提供了迄今为止最清晰的模板——用一个独角兽公司跑整个职能,每年的推理和基础设施成本大约只要 1000 美元。
Apple Podcasts | YouTube