宝马研发团队如何治理数百个智能体
宝马分享了面向数千名开发者构建、治理和运维数百个智能体的研发实践,重点是在扩大使用规模的同时兼顾交付速度、质量与合规。
AI 深度解读
BMW Group 面临的 Agent 难题,是几百支分布式团队各自开发之后,怎样让这些系统安全协作、持续评估,并且不重复造轮子。它的研发部门有超过 12,500 名开发者,车辆软件约 5 亿行,Connected Vehicle 后端还有超过 1,300 个微服务,服务着 2,400 万辆车。
作者给出的答案是:保留团队选择模型和框架的自由,把权限、评估、注册和部署规则做成共享基础设施。对正在接入 AI 编程或搭建内部 Agent 的团队,这套方法最值得参考的,是它把「能跑」与「能长期负责地运行」分开处理。
权限为什么不能只写在提示词里
这套方案的基础是 agent harness,即包在大语言模型外面的运行层,负责执行循环、工具分发、记忆管理和可观测性。模型决定下一步想做什么,运行层负责把动作执行出来。
作者主张,认证、授权、限流、内容过滤等治理规则,应放在 MCP gateway、中央注册中心和编排边界,而不是散落在各个 Agent 的业务代码里。这样换模型、换框架时,规则仍有统一的执行位置。
提示词可以告诉 Agent 应该做什么,权限系统必须决定它实际能做什么。
自主程度也不能给整个 Agent 一次性定级,而要落实到每一步:
- Level 0(Human-in-the-loop):每个动作都需要人明确批准,适用于新 Agent 和高风险操作。
- Level 1(Human-on-the-loop):自主执行,决策交给人异步复核,前提是输入、输出和回滚方式清楚。
- Level 2(Autonomous within guardrails):在确定性策略划定的边界内独立运行,适用于已有验证记录的低风险操作。
一个流程完全可以同时包含三级动作。生成文档与写入生产数据库,不该共享同一套审批强度。
确定性约束主要通过 CI/CD 落地:部署前检查权限、策略和合规配置,运行边界再限制实际动作。作者还提出接收方白名单和出站秘密扫描,防止 Agent 借一次合法工具调用,把机密数据发送到错误位置。仅检查「工具能不能调用」,还不够。
Agent 返回成功,为什么仍然可能不合格
HTTP 200 只能证明请求成功处理,不能证明答案忠实、工具选得正确或输出符合规定。
作者要求在实现前准备真实基准数据集(ground-truth dataset),覆盖常见问题和边界情况,同时明确质量门槛。数据集自身也要接受治理,不能只靠临时拼出的合成提示词评价效果。
每次修改提示词、增加工具或更换模型,都应触发两类检查。先做 verification,验证确定性组件及其交互是否正确;通过后再做 evaluation,用基准数据评估非确定性的输出。前者通常更快,先挡住工程错误,可以减少无效评估。
可观测性也要从设计阶段接入。OpenTelemetry spans 串起用户请求、工具调用、上下文检索和最终输出,让问题能沿执行轨迹追查。这里需要的是可观察的行为证据,不能把模型自述当成可靠审计记录。
如果系统会按任务切换模型,还要记录路由决策及依据。模型分档应来自各类任务的评估结果,失败案例则补回数据集。作者没有提供具体模型名单,也没有给出统一的评分公式。
上线后仍要区分两种漂移:用户问题、上游 API 变化属于数据漂移;错误率上升、工具选择准确率下降属于模型漂移。告警和用户反馈都要进入调查与人工复核,不能只盯服务可用性。
多个 Agent 怎样协作,才不会越拆越乱
作者要求团队在编排之前先交出五样东西:明确的职责范围、调用方式、精确的工具及参数定义、基准数据集、评价标准。先确定任务,再决定 Agent 应有多少能力。
组合结构分为三层:
- MCP tools 提供原子能力,例如一次 API 调用或数据库查询,不夹带整段业务流程的假设。
- Skills 把工具与领域逻辑组合起来,例如代码审查中串联静态分析、风格检查和 LLM 判断。
- Flows 编排多个 Skills,形成完整的 PR 审查或需求到部署流程。
工具和 Skills 分别做组件验证,组合后的 Flows 做交互验证。MCP、Agent Skills、A2A 和 OpenTelemetry 则分别承担工具集成、技能复用、Agent 间通信及观测等连接工作。
拆分也不必一步到位。作者建议根据实际使用情况逐步专业化:Agent 内部用 Skills 收拢能力,超出职责的工作交给通过 A2A 协作的专业 Agent。技能粒度靠使用证据调整,很少被选中的可以合并,随输入表现出明显不同行为的可以拆开。
这样做有机会减少上下文负担,让不同 Agent 独立更新、扩容,并按职责配置更小的模型和更少的权限。但拆开之后,必须解决发现与复用问题。
BMW 为此维护 Agent、工具和 Skills 的中央注册中心。它既是目录,也是生产准入、安全检查和重复能力检测的位置。登记内容不仅有名称、能力和文档,还有托管区域、目标可用率、P95 响应时间、支持时段、数据分类、保留策略、日志及 PII 脱敏标志,以及是否要求人工介入。
治理怎样进入每天的交付流程
作者称,这些实践来自自 2023 年以来的建设和运营经验,并通过 Terraform、AWS CloudFormation 等基础设施即代码(IaC)工具固化。AWS Config、Open Policy Agent 等承担策略检查,团队复用模块,中央团队维护规则。
参考流水线分四阶段,顺序很关键。
第一阶段跑快速、确定性检查,包括供应链是否使用批准的注册源、组件和交互测试、评估库引用、观测埋点。缺少埋点的构建,不能进入后续评估。
第二阶段并行检查安全与治理:静态分析、隔离预发布环境中的安全测试、出站限制、最小权限,以及声明的自主等级是否符合实际权限。治理 Agent 辅助发现职责扩张、提示词膨胀、工具误用和性能下降。
治理 Agent 只提供证据与建议。建议应用前需要人工确认,遵守四眼原则,由人承担治理决策责任;治理状态进入注册中心,完整记录进入中央知识库。
第三阶段评估运行中的系统,检查基准得分、延迟和 token 消耗。第四阶段先查重,再登记 Agent、子 Agent、工具和 Skills。任何检查失败或指标恶化都会停止部署,全部通过后再打包为容器化工作负载。
这里的组织方式是团队贡献能力、中央维护准入规则。统一的是交付约束,团队仍可以围绕自身问题开发。
我的判断
我认同把权限、评估和注册机制提前建立。对前端和全栈团队,最有用的提醒是:提示词改动同样会改变系统行为,应进入交付验证;工具权限也应与具体步骤绑定。
但文章提供的是架构实践与经验结论。作者声称开发成本降低、上线更快、质量改善,却没有给出前后对照数字、样本规模或评估成本,不能据此认定拆分 Agent 必然省钱。
专业化能缩小单个 Agent 的职责,却会增加通信、编排和排障成本。文章也没有展开失败重试、跨 Agent 一致性与部分完成后的补偿机制。对任务稳定的小团队,一个边界清晰的 Agent 配合普通函数编排,可能更容易维护。
还有两个边界需要分清。CI/CD 能验证配置,真正执行动作时仍需鉴权和出站控制;部署检查无法替代运行时拦截。专业化能缩小故障影响范围,但上游错误仍可能通过输出传给下游,不能把「拆分」直接当成故障隔离保证。
治理 Agent 的安全检测同样不是证明题。文章没有交代提示注入测试的覆盖率或漏检情况,保留人工决策是合理安排。扩展 IaC 模板、深化合规测试、推进 agentic FinOps,以及接入架构指导 Agent Archimedes,则是作者列出的后续方向,不宜视为全部完成。
能拿来做什么
- 给现有 AI 编程或 PR 审查流程补一份任务约定,写清职责、调用入口、工具参数和评价标准,再决定是否增加新工具。
- 在 Node 工具执行层落实权限,对生产写入等高影响动作单独要求批准,并检查调用目标与出站数据,避免只靠提示词约束。
- 把提示词和模型配置纳入 CI,先跑组件与交互检查,再用覆盖日常任务和边界情况的数据集评估输出,同时记录延迟与 token 消耗。
- 当多个团队开始重复建设相似能力时,先建轻量目录,登记负责人、权限、数据范围和质量门槛,再根据运行证据决定是否拆成多个专业 Agent。