私有化AI Agent的实用架构设计

当 Autonomous AI Agent 具备了超越文本生成的能力时，它才开始真正有用。一个生产级的 Agent 可以理解目标、检索经过批准的上下文、选择工具、执行多个步骤，并返回它所改动的证据。

这种能力也扩大了安全边界。问题不再只是"我们应该使用哪个模型"，还包括："Agent 可以访问什么？它可以执行哪些操作？数据在哪里处理？我们如何安全地停止它？"

本文为构建私有、业务导向的 Agent 工作流的团队概述了一种实用的架构。

1. 将推理与授权分离

一个 Agent 可能能够提出许多行动，但未必被授权执行所有行动。

将模型输出视为对执行层的请求：

User objective
      ↓
Agent planner
      ↓
Policy and permission check
      ↓
Approved tool execution
      ↓
Audit event + result

规划器决定它想做什么。确定性策略层决定该操作是否被允许。这种分离使权限变得可测试，并防止 prompt 演变为授权。

2. 为每个 Agent 赋予一个窄化的角色

具有广泛访问权限的通用 Agent 难以测试。从一个有边界的角色开始，例如：

• 对指定的文档集合进行摘要；
• 为人工审批准备支持响应；
• 从已批准的数据集生成报告；
• 监控工作流并升级异常；或
• 在特定代码仓库中协助编写代码。

定义其允许的输入、工具、输出模式和升级条件。窄化的契约使故障模式更容易被发现。

3. 使用最小特权工具访问

工具凭据应严格限定于 Agent 的实际工作。

例如，一个报告生成 Agent 可能需要读取分析数据的权限和写入报告目标的权限。它可能不需要删除记录、邀请用户或更改计费设置的权限。

有用的控制措施包括：

• 不同 Agent 使用独立的服务身份；
• 默认只读访问；
• 白名单化的端点和命令；
• 短期凭据；
• 网络限制；
• 对不可逆操作进行明确确认；以及
• 速率和成本限制。

4. 将私有上下文保持在受控边界内

业务 Agent 通常需要内部文档、客户记录、项目文件或运营数据。决定每个阶段在哪里运行：

• 源数据存储在哪里？
• 向量嵌入和索引存储在哪里？
• 哪个模型端点接收检索到的上下文？
• 是否保留 prompt 或输出？
• 请求在哪个区域处理？
• 谁可以检查日志和追踪？

"Private AI"应该描述一种架构和操作策略，而不仅仅是一个营销标签。

对于正在评估托管方案的团队，ToothFairyAI 提供了一个位于墨尔本的私有和主权 AI Studio，用于构建和运营具有区域感知基础设施的自主业务 Agent。

5. 要求结构化输出

自由格式的文本对人类来说很方便，但对自动化来说有风险。在任何工具运行之前，要求 Agent 返回一个类型化的结果：

{
  "action": "create_report",
  "source_ids": ["sales-q2", "sales-q3"],
  "destination": "reports/draft",
  "requires_approval": true,
  "reason": "Quarterly comparison requested"
}

在模型之外验证模式、拒绝未知字段并应用业务规则。

6. 在风险变化处添加人工检查点

并非每个步骤都需要审批。在产生重大后果的操作之前放置检查点：

• 发送外部消息；
• 更改生产系统；
• 删除或覆盖数据；
• 做出法律或雇佣决定；以及
• 暴露机密信息。

低风险的检索和起草可以保持自动执行，而较高风险的操作则等待人工介入。

7. 从一开始就设计好可观测性

一个有用的追踪应该能够回答：

• Agent 收到了什么目标？
• 它检索到了什么上下文？
• 它请求了哪些工具？
• 策略允许或拒绝了哪些操作？
• 外部系统发生了什么变化？
• 每个阶段花了多长时间？
• 工作流成本是多少？
• 什么时候有人工介入？

对秘密和敏感内容进行脱敏，但保留足够的元数据以调查故障。

8. 测试行为，而不仅仅是答案

Agent 评估应包括工作流测试：

• 缺失或矛盾的上下文；
• 检索文档内部的 prompt 注入；
• 格式错误的工具结果；
• 过高的成本或运行时间；
• 试图超出权限；以及
• 部分完成后的恢复。

一个好的 Agent 应该能够清晰地向后失败、保留状态，并在造成损害之前寻求帮助。

从一个有价值、可衡量且可逆的工作流开始。在观察模式下运行它，然后允许生成草稿，再允许仔细界定范围的操作。只有当日志和评估结果表明可靠性时，才扩大授权。

最重要的架构决策不是本月哪个模型在基准测试中名列前茅。而是你的系统如何在模型周围控制上下文、权限、执行和问责。

这才是将一个令人印象深刻的演示变成可靠基础设施的关键。