基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 23:48

如何减少 Bedrock 主题拦截误判

AWS ML Blog#AWS#内容护栏
Editor brief · 编辑速览

Bedrock Guardrails 的禁用主题按语义匹配,描述过宽可能误拦正常请求。文章提供八项编写实践,帮助明确拦截范围与放行边界。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

给银行客服加一道 AI 护栏,结果工资到账、房贷调整、银行卡被盗刷都问不了。问题出在规则写得太宽:团队想禁止投资建议,却把整个 Finance 领域设成了禁区。

AWS 这篇文章讨论的,就是 Amazon Bedrock Guardrails 的 Denied Topics 应该怎么写。核心思路是把「禁止聊哪个领域」改成「禁止执行什么行为」,再用名称、定义和示例共同划清边界。它对需要给 AI 客服设置业务边界的团队很有参考价值,但文中的银行是虚构案例,不能当成生产效果报告。

为什么禁止 Finance 会误伤正常客服

Denied Topics 允许用自然语言描述禁止的内容,再按语义判断请求是否命中。它不只找关键词,也会匹配意思相近的表达。

这个能力解决了同一请求有多种说法的问题,也带来了误伤:Finance 涵盖投资建议,同样涵盖工资到账、贷款结清金额和银行流水。规则只写领域,系统就很难知道你究竟想拒绝哪种帮助。

原文用虚构的 AnyCompany Bank 串起案例:距离客服上线还有两周,团队需要禁止个性化投资推荐、针对银行的诉讼指导、内幕交易建议等内容,同时放行账户查询、转账说明、房贷服务和一般金融知识问答。

第一版却用了 Finance、Legal、Fraud、Competitors 四个宽泛名称。于是,房贷调整因为靠近法律领域被拦,盗刷报告因为涉及欺诈被拦,客户比较竞品的正常问题也可能被拦。

领域相同,不代表用户想让助手做的事情相同。

报告盗刷,是提交问题并转人工;要求助手追查诈骗者,是让它开展调查。两者都涉及 Fraud,但客服能承担的职责不同。规则必须把这个差别写出来。

在 Standard tier,一个主题由名称、定义和最多 5 条示例组成,三者会被一起评估。名称最多 100 字符,定义最多 1,000 字符,作者建议通常控制在 100–300 字符;每条示例最多 100 字符,每个 guardrail 最多容纳 30 个主题。这些限制是字符数,不是中文字数。

名称因此不是方便后台管理的备注,它也是匹配依据。

名称和定义,都要写出具体行为

作者建议,名称优先使用 2–5 个英文单词组成的具体行为短语,例如 Investment Recommendations、Hacking Instructions,而不是 Finance、Security。

AnyCompany Bank 把 Legal 改成 Litigation and Non-Servicing Legal Advice,把 Fraud 改成 Fraud Investigation Requests。前者聚焦诉讼及非贷款服务类法律建议,后者聚焦调查请求,让正常房贷服务和欺诈报告有机会通过。

但只改名称还不够。如果定义仍是「任何与投资、个人财务决策或证券交易有关的内容」,金融教育和持仓查询依然可能被卷进去。

下面这段配置把禁止范围落到了个性化交易建议上:

Name: Investment Recommendations
Definition: Asking for a personalized recommendation to buy, sell, or hold specific stocks, bonds, mutual funds, ETFs, or cryptocurrencies for the user's own investment returns. Includes asking whether a specific security is a good investment, requesting portfolio allocation percentages, or asking when to enter or exit a specific position.

要看第二行开头的 Asking for a personalized recommendation,以及后面的 for the user's own investment returns。前者指定行为,后者限定目的。股票、债券、基金、ETFs、加密货币则明确了操作对象。

这套写法可以整理成:行为或内容类型开头,加上具体对象,再补目的或限制条件,最后列出少量子场景。

它比堆关键词更有用。关键词列表既可能漏掉不同措辞的同类请求,也可能拦住碰巧使用相同词汇的正常问题。动作、对象、目的组合起来,才更接近业务真正要拒绝的服务。

定义也不是越长越好。作者指出,增加文字可能让主题更容易受相邻主题措辞的影响。应先把边界写清,再决定是否需要补充解释。

五条示例,应该覆盖五种边界

原文中,投资建议主题的第一批示例,几乎都是「该买什么股票」的改写。它们能拦住直接的买股问题,却漏掉了「现在适合把投资组合从股票转到债券吗」。

后者没有沿用同一句式,但仍然是在寻求投资建议。

作者推荐使用边界示例:它必须属于禁止范围,同时又靠近一种应该放行的请求。不同示例还应覆盖不同子场景、句式和词汇,而不是把同一句话换五种说法。

调整后的示例如下:

Examples: Should I buy 100 shares of a specific stock before earnings?
Is it a good time to move my portfolio into bonds?
What percentage should I allocate to cryptocurrency?
Should I sell my index fund now or hold?
Recommend three growth stocks for a 5-year horizon

要看第二行的资产类别调整,以及第四行的卖出或持有判断。它们把覆盖范围从「买哪只股票」扩展到了其他推荐行为。100 shares 和 5-year horizon 是示例请求中的条件,不是系统配置参数。

作者建议用满 5 条示例,但不要随意塞入国家、公司、竞品或产品名称,除非主题本来就针对那个实体。否则,示例可能让系统把实体名称也当成关联信号,误伤其他提到它的请求。

有些边界还需要额外的上下文条件。内幕交易就是原文的例子:团队希望拦住利用未公开信息交易的请求,却不想拦住「SEC 如何定义内幕交易」。

他们为定义增加了双重条件:请求必须同时点名具体证券,并描述用户声称掌握的一项具体未公开信息。然而,教育问题仍有时被拦。作者把原因指向名称 Insider Trading Advice 与问题中的表达过于接近,随后将名称改为 Trading on Non-Public Information。按案例叙述,教育问题此后能够稳定通过,真正的交易建议仍被拦截。

定义写了限定条件,也不能假定名称的影响会被覆盖。

原文还提醒,多个主题会一起评估,相似定义可能互相干扰。单独测通一个主题,并不代表加入完整规则集合后仍然表现一致。提供的正文在第六条讨论这里截断;后续做法和完整的非确定性分析没有展开,不能补成一套完整的八条指南。

我的判断

我认同它把规则编写从「内容分类」转向「业务行为限制」。对客服而言,最需要区分的往往不是金融和法律,而是查询、解释、推荐、调查、裁决这些动作。它们决定助手能回答、该转人工,还是必须拒绝。

但文章提供的主要是写作建议和虚构场景中的测试叙述。虽然多次描述修改后通过或拦截的情况,却没有给出测试集规模、误拦率、漏拦率,也没有关键词规则或其他方案的对照数据。「用满五条更有效」「改名后稳定通过」可以作为调试方向,不能直接当成经过量化验证的效果承诺。

双重条件同样只是自然语言约束,并不是程序里的布尔表达式。原文自己就展示了:定义要求两个条件同时成立,仍可能因为名称产生误拦。测试时必须检查实际结果,不能只审查规则文字是否严谨。

和关键词过滤相比,语义主题更适合处理同义表达;如果需求只是禁止输出几个固定竞品名称,确定性的字符串检查也值得考虑。那类精确限制与个性化投资建议识别,解决的是不同问题。不过,提供的原文没有展示竞品问题最终如何修复,也没有两种方案的效果比较。

同样,开头列出的武器制作、prompt injection 和 jailbreak,在现有正文里没有完整展开。不能据此认定,只要套用动作式定义,就已经解决了这些风险。

能拿来做什么

  • 给前端 AI 客服或 Node 对话服务制定规则时,先各写一份「必须拦截」和「必须放行」清单,尤其加入同领域、不同意图的成对问题,例如「解释 ETF」与「推荐适合我买的 ETF」。
  • 检查现有主题名称和定义,把 Finance、Legal 这类宽泛领域改成具体行为,并确认定义开头也描述行为,避免名称缩小了、定义仍然过宽。
  • 为每个主题准备最多 5 条不同子场景的命中示例,再把相邻的正常请求放进独立测试集;不要把必须放行的问题误当成禁止主题的示例。
  • 每次调整名称、定义或示例后,都对完整主题集合做回归测试,并重复检查边界请求,记录误拦和漏拦,避免用单次通过作为上线依据。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 AWS ML Blog,原文版权归原作者所有。

阅读原文
上一篇
Claude Code 用脚本批量编排工具调用
下一篇
共享知识库如何实现租户级回答定制

资讯速览

AWS ML Blog · 2026-11-16 23:48

AI 评分 8.0 / 10

相关标签

#AWS#内容护栏

继续阅读

  • 用 ADK 快速接入 MCP 文件工具
  • Claude Code 用脚本批量编排工具调用
  • 共享知识库如何实现租户级回答定制
  • 用提示缓存降低编程智能体调用开销
  • 用策略网关约束 Agent 的真实操作