作者归纳了 Agent 投产的六项准备:职责边界、可测试指令、知识库清理、扫描文档可读性、系统连接,以及安全与生命周期管理。对于必须稳定执行的路径,建议使用手工设计的主题,并为指令配套测试问题。
简短回答:一个 Copilot Studio Agent 要达到生产上线标准,需要具备六个条件:清晰的职责范围、可测试的指令、干净的知识库、可读取的扫描文档、与业务系统的真实连接,以及与 IT 部门商定的安全和生命周期管理机制。我是巴黎的一名自由职业 Data & AI Tech Lead。在 SUEZ,我参与了 20 个生成式 AI 用例,并将超过 200 个 AI Agent 投入生产。下面就是我采用的方法。
明确 Agent 的角色、服务对象,以及必须拒绝的请求。然后,在生成式编排(generative orchestration)和手工设计的主题(topics)之间做出选择。采用生成式编排时,你需要描述 Agent,并为它提供信息源、工具和记忆。生成式编排搭建起来更快,但行为也更难预测,因此,那些绝不能发生变化的执行路径,仍应使用预先设计的主题。
指令就是 Agent 的行为契约。我会把指令分成五个部分:Agent 是谁、它做什么、它拒绝什么、它如何回答,以及不知道答案时该怎么办。每个部分都配有测试问题,这样,修改指令后就能通过测试验证效果,而不是靠猜。
很多被归咎于模型的错误回答,实际上源于文档:版本过时、内容重复、文件相互矛盾。在调整其他任何东西之前,先确保 SharePoint 或其他文件源中的每份文档,都只保留一个最新版本。
对 Agent 来说,只有图像的 PDF 就是一张白纸。合同和技术资料经常属于这种情况。在建立索引之前,先加入 OCR 和受控的预处理流程。
一个能解释如何创建工单的 Agent,可以提供帮助。一个能直接创建工单的 Agent,则会改变人们的工作方式。使用 connectors、API、MCP servers 和 agent flows,并把必须确保可靠执行的任务交给 flow:模型负责推理,flow 负责执行。
与 IT 和安全团队就访问权限、可追溯性、环境以及 ALM(开发、测试、生产)达成一致。此后,每次变更都使用第 2 步中的同一套测试集,监控回答质量。
这些步骤无法让 Agent 永不出错,但能让错误暴露出来,并且可以修复。当你需要精细选择模型,或在大规模使用时控制成本,Azure AI Foundry 往往比 Copilot Studio 更合适。在大型企业集团中,两者通常会同时使用。
详细方法(法语),附 FAQ。
只有在信息源提供依据时才回答:基于数千份文档的 Copilot Studio 实践。
Zakaria Khchiche,巴黎自由职业 Data & AI Tech Lead,Microsoft Agent Framework 贡献者。LinkedIn · 个人网站。
想让你的团队也能构建这样的 Agent?我提供 Copilot Studio 实操培训(法语授课,与 Spar-x 合作,获得 Qualiopi 认证,在法国符合 OPCO 资助条件),以及一套免费的 AI Act 第 4 条工具包。
如需采取进一步措施,你可以考虑屏蔽此人和/或举报滥用行为。