在浏览器中实操Agent工具约束与人工审核

一个 AI Agent 能不能用，不能只看模型回答得多流畅，还要看它有没有查证据、错误动作能否被拦住，以及谁来批准最终结果。作者用一个浏览器里的本地模型演示，展示了这些约束如何由普通代码完成。

这篇最有价值的地方，是把 Agent 出错的过程摊开了：漏调工具、重复查询、编造数字，甚至护栏自己误报。对写前端、Node 和 AI 应用的程序员来说，它提供了一套比「继续改提示词」更具体的排错思路，但没有证明这套演示已经具备生产可靠性。

模型负责推理，谁负责让流程守规矩

作者把模型外围的工具、规则、记忆和人工审核统称为 harness，可以理解为 Agent 的运行控制系统。模型提出下一步怎么做，系统决定这一步能否执行、结果是否合格。

演示沿用 Etna Labs 的三层结构：

• Information 信息层负责准备上下文，包括检索过去的纠正记录，再组装提示词。
• Execution 执行层负责工具调用和过程约束，包括检查工具结果、跳过重复调用、提醒补查证据。
• Feedback 反馈层负责检查最终答案、交给人审核，并保存纠正意见。

界面左侧选案例，中间显示执行轨迹，右侧是审核台。这个布局让审核者能对照查看：模型用了哪些证据、哪条规则触发过、最终建议为什么改变。

提示词提出要求，harness 用代码检查要求有没有被执行。

例如，让模型「使用工具返回的欺诈分数」，仍然可能得到一个编造的数字；把最终答案里的分数与工具结果比较，才有机会发现这种偏离。不过，检查器能拦住什么，取决于开发者写了什么规则。

三组案例，把规则的作用和漏洞一起暴露了

第一组是过敏案例：一名 8 岁儿童确诊链球菌性咽炎，家长要求使用 amoxicillin，病历却记录了 penicillin 引发的严重过敏反应。

模型读取病历后，护栏先发出过敏警报；随后检查药物交叉过敏风险，规则提示高风险，并指向 azithromycin。模型接着重复请求同样的三个工具，系统跳过已有结果的调用，要求它完成回答。最终建议进入临床审核台，带有 Sign-Off Required 标记，等待人工批准。

这里同时存在两类约束：领域规则检查建议是否触碰风险，流程规则防止模型在循环里反复打转。

第二组是保险理赔，最能说明检查的边界。一笔 $8,500 的追尾事故索赔，申请人此前有三次索赔，没有警方报告，事故十天后才开始治疗。欺诈分数为 0.72，超过 0.70 阈值，规则要求付款前转交特别调查部门 SIU。

这一步成功了，模型却又声称 $8,500 超过 $10,000 限额。它既算错大小，也引用了错误限额，真实碰撞险限额是 $50,000。该次运行没有规则覆盖这种错误，只能留给审核员发现。

另一笔全损案例的检查更完整：车辆价值 $67,000，保单限额 $55,000，assessFraudRisk 返回 0.18。模型却编出 0.85，并忽略赔付上限。最终检查把两处错误反馈回去，模型才改为最多赔付 $55,000，剩余 $12,000 由申请人承担。

两次结果放在一起，比一句「护栏有效」更有说服力：检查覆盖到的错误能被纠正，没覆盖到的仍然会流到人工审核台。

第三组是药物发现。一种用于卵巢癌的 PARP 抑制剂药效很强，但肝毒性分数达到 0.78，超过 0.70 阈值，同时存在心脏安全性 hERG 风险。系统提醒模型补查毒理数据，并阻止其建议推进 IND，即启动人体试验前的研究性新药申请。

这次还发现了护栏自身的 bug：旧规则只要看到建议里含有 ind 就拒绝，连「先修改结构，再考虑 IND 申请」也被误判。作者后来收窄规则，只拦截 proceed to IND filing 这类明确推进的表述。

测试护栏不能只喂固定句子，真实模型的措辞也可能暴露规则缺陷。

所谓「学会纠正」，其实是下次带上审核记录

过敏案例中，审核者通过 Reject & Correct 写入纠正意见。再次运行同一案例时，信息层找到 1 条相关记录，将它加入提示词。新答案出现了第一次没有提及的 clindamycin，作者据此展示了纠正记录对输出的影响。

模型没有重新训练，权重也没有变化。这是检索记忆：把过去的纠正作为下一次回答的参考材料。记忆按领域隔离，医疗记录不会混入保险或职业建议；点击 Reset Memory 可以清除。

原文没有交代相关性检索如何实现，也没有展示错误纠正、多人意见冲突或大量记忆累积后的表现。一次重跑出现预期内容，能说明链路跑通，不能证明模型已经稳定掌握规则。

另外两个案例展示了流程补救。62 岁、正在服用 warfarin 的虚构患者询问 aspirin，模型读完病历就想回答。系统发现还有两个工具未使用，提醒补查相关工具，随后识别出出血风险。模型之后又没按要求输出，系统要求重试一次 JSON 格式，第二次通过。最终答案避开 aspirin，提到 acetaminophen；这些药物结论属于简化演示，不能直接移作诊疗依据。

职业案例中，41 岁、拥有 18 年精密制造经验的失业技术员希望转向 CNC。模型查询 cnc-operator，数据却只支持 cnc-technician。工具返回合法岗位列表后，它没有重查，仍然给出了培训、实习及 NIMS 认证建议。规则还能提醒年龄中立，并拒绝承诺具体薪资的方案，但无法保证模型真正补齐了证据。

工具被调用过，不等于所需信息已经查到。

浏览器里能跑，但「能跑」有明确成本

作者使用 WebLLM 和 Llama 3.2 3B 的全精度 f32 构建，通过 WebGPU 在本地显卡运行。模型首次下载约 2.9 GB，之后由浏览器缓存，不需要账号、API key 或服务端。

作者称输入和纠正记录都留在本机。他在 Intel 集成显卡笔记本上实测，每个案例耗时 6 到 18 分钟。这能支撑教学演示，对交互式产品则是明显限制。

选择 f32 也有具体原因：作者报告标准半精度 f16 构建在部分集成显卡上发生数值溢出，产生乱码。这个结果说明运行环境会影响模型表现，不能据此推导所有设备都应该使用 f32。

演示还提供 Mock mode：用脚本答案替代模型输出，保留真实工具、护栏和记忆，几秒内就能观察流程。它适合检查界面和规则，但无法复现真实模型的随机措辞与失误。

运行真实模型需要支持 WebGPU 的浏览器，例如较新的 Chrome 或 Edge。若无法获取 GPU，原文建议开启 Use graphics acceleration when available、重启，再到 chrome://gpu 检查 WebGPU 是否启用硬件加速。

我的判断

我认同作者把确定规则放进代码、把证据摆到审核者面前的方向。金额、阈值、工具返回值这类明确约束，用程序校验通常比单靠提示词更便于测试和追责。

但文中只有个人项目的若干真实运行，没有提示词方案、不同模型或不同护栏配置的对照数据。它展示了有效补救，也展示了漏检，尚不能证明整体错误率降低多少，更不能替代生产环境验证。所有案例、分数和阈值都是虚构且简化的。

普通团队也未必需要一开始就做完整 Agent。流程固定时，直接由代码串联查询、计算和审核，往往更容易控制。只有确实需要模型动态选择工具或组织调查路径时，Agent 循环才更有价值。

我还会给纠正记忆多留一个问号：存进记忆的意见未必正确。领域隔离解决了串用问题，却没有解决纠正内容的质量问题。

能拿来做什么

• 在 Node 工具接口里保留可校验的结构化结果，把金额、阈值和状态判断交给代码，并在最终输出前核对模型是否引用正确。
• 为日常 AI 编程助手记录工具参数、返回状态和检查结果，对完全相同的重复查询复用结果，并要求模型处理非法参数或空结果后再继续。
• 在前端审核页并排展示建议、证据和规则命中记录，让审核者能核对关键数字，再进行批准或纠正。
• 把人工纠正作为可清除、按领域隔离的上下文记忆，同时用真实模型补测误报案例，尤其检查包含否定、条件和延期建议的表达。