Agent 上线要补齐哪些工程能力
文章围绕数据质量、可观测性和运行时安全,讨论 AI 原型走向生产环境需要补齐的架构能力。以视觉模型与 Agent 协作为例,强调脏数据、故障恢复、敏感资源访问和问题追踪带来的工程挑战。
AI 深度解读
把模型接上工具、检索和图像识别,已经能做出像样的 AI 演示。但上线后,输入会变,工具会报错,Agent 也可能请求执行超出权限的操作。模型答对过几次,证明不了整套系统能持续可靠地运行。
作者给出的路线很明确:围绕数据契约、视觉可靠性、执行可观测性和运行时安全,把模型放进可验证、可追踪、可约束的工作流。这篇值得读的地方,是把「换个更强的模型」之外的工程责任逐一摆了出来;不过,它提供的是设计原则和示意代码,没有生产实测或对照数据。
数据不符合约定,模型再强也会悄悄出错
原文用工业巡检串起整个问题:视觉模型发现设备异常,Agent 查询维修记录和传感器读数,再建议是否安排技术人员检查。任何一环出错,都可能把后面的推理带偏。
第一道防线是数据契约(Data Contract),也就是提前约定输入必须满足什么条件。假设开发阶段使用固定分辨率和光照条件的图片,生产摄像头却开始输出低分辨率图片,模型仍可能照常给出预测。接口没有报错,输入却已经偏离评估前提。
下面的代码把最低尺寸和必要元数据变成明确检查:
def validate_image_metadata(metadata):
required_fields = ["width", "height", "camera_id"]
for field in required_fields:
if field not in metadata:
raise ValueError(f"Missing field: {field}")
if metadata["width"] < 640:
raise ValueError("Image width below supported threshold")
if metadata["height"] < 480:
raise ValueError("Image height below supported threshold")
return True
要看清 width < 640 和 height < 480 两行:640×480 是示例下限,不是视觉服务通用标准。这段函数只检查元数据,没有验证真实图片尺寸、文件格式、光照或画面内容,不能据此认定图片适合推理。
训练数据也需要契约。模糊样本如何标注、标注人员意见不一致时如何裁决、质量如何验收,都应形成可复现的规则。数据量大,不能代替标签定义清楚。
进入推理阶段后,作者建议持续观察置信度分布、输入拒绝频率、处理延迟和转人工比例。原文通过 model.predict(image) 获取预测,再将 prediction.confidence < 0.80 的结果标记为 human_review,其余返回 completed、标签和置信度。
0.80 同样只是示意。实际阈值要结合误报、漏报的代价评估,而且高置信度也可能对应错误答案。面对陌生输入,模型未必知道自己已经超出了能力范围。
Agent 出错时,要能还原整条执行链
普通接口出错,通常可以沿调用链寻找异常。Agent 更麻烦:它会根据中间结果选择工具,最终建议可能来自多次查询和模型决策。
只记录「任务成功」或「任务失败」,无法解释建议为什么错。至少需要知道这是哪个工作流、经过哪些步骤、调用哪些工具、每步结果如何,以及哪里发生异常。涉及敏感内容时,还要按组织规则脱敏或排除,不能为了排障把敏感载荷全部写入日志。
原文用 Python logging 演示步骤日志:通过 uuid.uuid4() 生成 trace_id,在 tool(**arguments) 前后记录 step_started、step_completed,异常时调用 logger.exception 记录 step_failed,随后重新抛出异常。
但这段示例存在一个明确边界:它每执行一步就新建一个 trace_id,尚未实现完整链路追踪。作者也明确说明,真实系统应在整个工作流中传播同一个追踪标识,再用不同的跨度(span)区分具体步骤。
大白话理解,就是一次巡检有一个总编号,查维修记录、读传感器、生成建议各有自己的步骤编号。工程师才能把分散在多个组件里的事件串起来。OpenTelemetry 可以支持标准化的遥测采集和关联,但接入工具后,仍要设计好记录内容。
可观测性的价值,是让工程师有证据解释 Agent 的行为。
这些记录还可服务于效果评估、成本管理和可靠性分析。不过,原文没有给出成本指标或具体实施方案,不能把「有日志」直接等同于「已经具备成本治理能力」。
模型可以提出操作,权限必须由程序裁决
Agent 能生成删除记录、传输信息或修改业务系统的请求,不代表它有权执行。把「不要执行危险操作」写进提示词,无法替代应用层授权。
作者用一个工具白名单说明这条边界:
ALLOWED_TOOLS = {
"maintenance_agent": {
"read_equipment_status",
"read_maintenance_history"
}
}
def authorize_tool_call(agent_role, tool_name):
permitted = ALLOWED_TOOLS.get(agent_role, set())
if tool_name not in permitted:
raise PermissionError(
f"{agent_role} cannot execute {tool_name}"
)
return True
关键是 ALLOWED_TOOLS.get(agent_role, set()):未知角色默认没有权限。示例里的 maintenance_agent 只允许调用 read_equipment_status 和 read_maintenance_history,授权决定由独立代码执行。
但工具级白名单还不够。同一个查询工具,可能访问不同客户或设备的数据,生产实现还需要结合用户身份、资源级权限、请求上下文和审计要求。高影响操作即使工具可用,也可能需要人工批准。
这也是提示注入(Prompt Injection)的风险所在:不可信内容可能夹带指令,试图改变 AI 的行为。运行时安全需要与认证、授权、输入校验、安全 API 设计和基础设施监控一起工作。原文提到 OWASP Top 10 for LLM Applications,用于参考提示注入、敏感信息泄露和过度代理权限等风险。
完整链路因此应当连起来:图片接入时校验,推理时分流不确定结果,Agent 使用获准工具整理建议,全程记录关联事件,每次访问资源或执行操作时独立授权,重要结果按规则交给人处理。
原文把授权列在架构流程后部,但前文已要求在每个工具边界执行检查。因此,不能理解成先调用工具、最后统一审计。审计记录无法撤销已经发生的越权操作。
我的判断
我认同作者把注意力放在组件之间的接口上。输入约束、错误记录和权限检查,都是可以落到代码与流程里的工作,比单纯调整提示词更容易验证,也更容易划分责任。
但文章的证据强度需要摆正。它没有披露真实部署规模、事故记录、模型准确率变化或上线前后对比,所有代码都是示意,0.80 也不是实测得出的推荐阈值。几处关于相关市场增长的描述没有附带数据,不能作为方案有效性的证据。
它覆盖的可靠性问题也有限。开头强调意外失败后的恢复,后文却没有展开超时、重试、幂等和补偿机制。团队即使照着补齐日志与授权,也还需要设计工具失败后的处理方式。
和直接做固定工作流相比,Agent 增加了动态决策,也增加了评估与追踪成本。如果业务步骤明确,固定编排通常更容易检查;原文没有说明何时值得引入自主决策。它适合作为工程检查框架,不能直接当成一套完整架构。
作者引用 NIST AI Risk Management Framework 作为更广泛的风险管理参考,也强调上线后持续评估。这一点成立:发布验收只是一个时间点,输入环境、业务流程和集成都可能继续变化。
能拿来做什么
- 做图片识别入口时,先在前端提示支持的格式和尺寸,再由服务端执行最终校验;同时明确哪些质量问题会被拒绝,哪些进入人工复核,不要直接照搬 640×480 和 0.80。
- 在 Node Agent 服务中,为一次任务传播统一的工作流标识,并记录各步骤、工具调用、结果与异常,让错误建议能够追溯到具体信息来源。
- 把工具授权放在服务端调用边界,先检查角色,再检查用户与目标资源的关系;高影响操作增加人工审批,提示词负责表达要求,程序负责执行权限。
- 发布前检查代表性输入、评估结果、遥测完整性和工具权限;上线后根据异常记录调查原因,再形成可验证的改进,避免只凭感觉修改提示词。