Mistral开源内容审核模型，单卡16GB可运行

Shieldstral 采用开放式权重设计，总参数量为 30 亿，依据 Apache 2.0 许可证发布。模型已上线 Hugging Face 平台，支持 12 种语言，可在单张 16GB GPU 上运行。Mistral 表示该模型在内容安全方面，性能媲美 7 倍规模的开放模型，并且在多模态内容审核领域实现 SOTA。

IT之家注：SOTA 全称为 state-of-the-art，是指在特定人工智能任务或基准测试中表现最优秀、水平最先进的模型或算法集合，它会随着技术迭代和新研究的发布而不断变化。

Mistral 指出，多数防护模型会把伤害类别体系固化在模型权重中。产品更换使用场景后，开发者通常需要重新训练模型。

Shieldstral 则把审核政策放入输入内容：操作者可以写入一个"是或否"问题，再提供评估场景和严格程度说明，模型随后从单个输出词元中生成经过校准的安全分数。

模型把每项审核任务转化为二元问答，输入包含 3 个带标签字段：

• <Instruct>：说明评估场景和严格程度。
• <Query>：提出单个"是或否"问题，例如"这段内容是否宣传身体暴力？"
• <Document>：提供待审核内容，可以是提示词、回答、提示词与回答组合，也可以是附带可选文本的图像。

推理时，模型只读取"是"和"否"两个词元的逻辑值，再通过 softmax 归一化为连续分数，并以 0.5 为阈值输出二元判断。该机制可覆盖提示词分类、回答审核、拒答检测和毒性检测。