用小模型区分 Discord 玩笑和辱骂
作者让模型用短码返回违规类别、严重度和语气,用正则校验格式,再按服务器的本地阈值决定是否处理。将示例从系统提示移到对话历史后,小模型一律判为无违规的情况有所改善,示例顺序也会影响判断。
AI 深度解读
Discord 的关键词过滤会同时踩两个坑:朋友互损可能被罚,一句不带脏字的恶意攻击却能放行。AI Automod 的做法是让模型识别消息里的违规类别、严重程度和语气,由机器人按服务器规则决定是否处罚。准备处罚时,再请一个更强的模型复核。
这套设计最值得看的是模型和业务代码怎么分工。模型读语境,程序管阈值和执行。作者也记录了一个调试现象:同样是给小模型看示例,放在系统提示词里和放在对话轮次里,结果差别很大。
模型给判断,服务器自己定处罚门槛
提示词给每个启用的审核模块分配一个编号。模型认为消息正常就返回 0,否则返回类别、严重程度和语气。严重程度分 1 到 3 级,H 表示玩笑,S 表示认真。比如 32;H 表示类别 3、严重程度 2、语气是玩笑。作者用它举例说明,一条明显带侮辱意味的消息也可能是在互损。
回复只有几个字符,作者借此控制延迟和成本,并用严格的正则拒绝格式不符的输出。正则能确认结果是否符合协议,判断准不准还得看模型。
各服务器共用同一份提示词,具备缓存条件。服务器的敏感度由机器人自己处理,决定哪些严重程度达到处罚门槛。玩笑按低一级计算。管理员调整设置时,无需为这次修改再发一次 API 请求。
示例怎么喂,会改变小模型的判断
作者试过把少样本示例(few-shot examples)集中写进系统提示词,结果小模型几乎对所有消息都回 0。把它们改成独立的 user / assistant 消息轮次后,这个现象得到改善。作者还观察到,最后一个示例会把回答往自己的方向带。同一批示例,光改排列顺序就可能影响结果。
示例也用来划清上下文的用途。模型能看到发言者之前的消息,以及当前消息回复的那一条。这些内容只用于辅助判断语气。比如有人在一条辱骂下回复 what??,被回复内容里的辱骂不能算到这句回应头上。作者把这条边界同时写进提示词和示例。
准备处罚时,才让更强的模型复核
首个模型的判断达到处罚门槛时,机器人会把问题交给一个更强的模型,只问当前这条消息本身是否真的含有首判指出的违规内容。回答否定,或者没有回答,都不执行处罚。作者明确接受漏掉一部分违规,以降低误罚的风险。
管理员可以撤销自动处罚。机器人会匿名保留被撤销处罚的消息、模型当时看到的内容和给出的回答,以及服务器设置。作者在每次更新前回看这些案例,用它们修正提示词和示例。
我的判断
把敏感度留在业务代码里,是整篇最容易复用的设计。管理员调整处罚门槛时,模型的输入和任务可以保持一致,排查误罚时也更容易看出问题出在初判还是本地规则。对比纯关键词过滤,模型多了读语气的机会,也多了推理成本和示例顺序带来的波动。AI Automod 仍提供免费的规则审核。
示例改成对话轮次后有所改善,是作者在这个小模型上的调试观察。原文没给模型名称、样本规模,也没报告改动前后的准确率。缓存是否命中、双模型复核降低了多少误罚、增加了多少延迟,同样没有对照数据。复核是一种明确的产品取舍,实际收益仍需测量。
能拿来做什么
- 在 Node 审核服务里,用正则校验模型的短输出,再由业务代码根据频道或服务器的规则计算是否达到处罚门槛。
- 调试提示词时,固定一批消息,分别测试系统提示词内的示例和对话轮次里的示例,再单独调整示例顺序,观察误判集中在哪些类型。
- 把「引用辱骂后只回
what??」加入回归样例,同时核对复核超时或无响应时,机器人是否跳过处罚。 - 管理员撤销处罚时,保留匿名化的模型输入、输出与规则设置,更新提示词前用这些案例做回放。