Cloudflare发布低价多模态决策模型

人工智能

Cloudflare 发布了 Clef-omni，这是其 Clef decision model 家族中新增的开放权重模型。Clef-omni 能在一次调用中对文本、图像、音频和视频进行评分。它于 2026 年 10 月 9 日发布，距离最初的 Clef 和 Clef-flash 发布仅过去 8 天。同一次更新还将 Clef-flash 的价格降到了 TypeSafe 的 Jev 以下，并让托管版 Clef 的速度提升至原来的约 2 倍。对开发者而言，这省去了多模态 Agent 流水线通常需要的转录和图像描述步骤。

• 规模：总参数量 30B，激活参数量 3B（MoE）；在 Workers AI 上支持 64,000 token 的上下文。
• 运行平台：在 Workers AI 上以 @cf/cloudflare/clef-omni 提供服务；自托管已在单张 H200 上完成测试，使用 bfloat16 时约需 64 GB GPU 显存。
• 性能：在路由和意图识别任务上接近 Clef，但在大多数推理和工作流评测中落后于 Clef。
• 最佳表现：在 CLINC150+OOS 上取得 97.7 的 macro-F1，在 Clef 系列和 Jev 共 4 个模型中排名第一。
• 最差表现：在 POP909-CL 上的准确率为 2.6；在 GPQA Diamond 上为 47.4，而 Jev 为 78.3。
• 核心结论：最大优势是一次调用即可完成跨 4 种模态的决策；最大不足是在高难度推理上，准确率低于侧重文本的 Clef。

最大优势：一次调用即可完成跨 4 种模态的决策。

最大不足：在高难度推理上，准确率低于侧重文本的 Clef。

什么是 decision model？

decision model 返回带有概率的类型化答案，而不是生成文本。你向模型发送一个状态，以及定义问题的 schema，模型会为每个允许的选项返回一个概率。Clef 支持 3 种问题类型：noul（true 或 false）、choice 和 score。其格式遵循 TypeSafe AI 的 Jev 和 SystemOne API。

Clef-omni 如何工作？

Clef-omni 基于 Qwen3-Omni-30B-A3B-Instruct 进行后训练。Cloudflare 保留了负责理解的骨干网络，移除了文本转语音的输出路径。模型对完整输入执行一次 prefill。视频帧与音频会同步到同一个序列中，进行联合处理。

随后，一个小型联合 schema head 会对选项进行评分。每个有效选项先从输入中收集证据，再由字段向量对完整上下文执行交叉注意力，计算置信度分数。Cloudflare 冻结了 Qwen3 骨干网络，并训练 LoRA adapter。训练结合了带标签平滑的交叉熵和 Brier score 校准。

根据开发者文档，Workers AI 支持以下输入：

• 图像：最多 4 张，支持 PNG、JPEG 或 WebP，每张占用 64 到 1,024 token。
• 音频：最多 4 段，支持 WAV 或 MP3，每段最长 300 秒，每分钟约占用 780 token。
• 视频：最多 2 段，支持 MP4 或 WebM，每段最长 60 秒，以每秒 2 帧的频率采样。
• 问题：每次请求可包含 1 到 64 个问题。

Cloudflare 报告称，文本决策的延迟中位数约为 130 ms，图像决策约为 150 ms。一段带声音的 21 秒视频，约需 1.5 秒即可完成评分。

Clef-omni 在基准测试中的表现如何？

Cloudflare 在其 Decision Index 测试中，将 Clef-omni 与 Clef、Clef-flash 和 Jev 进行了比较。Clef-omni 在意图分类上领先：在 BANKING77 上取得 94.8 的 macro-F1，在 CLINC150+OOS 上取得 97.7。它在 Amazon ESCI 上也以 57.8 的得分排名第一。

在其他测试中，它则落后于对手。在家电场景中，它的 case-exact 准确率为 69.3，而 Clef-flash 为 97.73。在 When2Call 上，它的准确率为 63.3，而 Jev 为 80.97。在 TypeSafe 的工作流评测中，Clef-omni 在公布的全部 5 项指标上都低于 Clef。

Clef-omni、Clef、Clef-flash 与 Jev 对比

特性	Clef-omni	Clef	Clef-flash	Jev
开发者	Cloudflare	Cloudflare	Cloudflare	TypeSafe AI
参数量	总参数量 30B，激活参数量 3B（MoE）	27B，稠密模型	9B，稠密模型	未披露
基础模型	Qwen3-Omni-30B-A3B-Instruct	Qwen3.8-27B	Qwen3.5-9B	未披露
输入	文本、图像、音频、视频	文本、图像、视频帧	文本、图像、视频帧	文本（据 Cloudflare）
托管版上下文	64,000 token	64k	24k（自托管为 256k）	TypeSafe 未披露（Cloudflare 引用的数值为 32k）
每百万输入 token 的价格	$0.15	$0.24	$0.038	$0.042
许可证	Apache-2.0	Apache-2.0	Apache-2.0	仅提供 API，处于早期访问阶段
BANKING77（macro-F1）	94.8	94.20	90.93	79.74
CLINC150+OOS（macro-F1）	97.7	97.43	66.77	89.27
When2Call（准确率）	63.3	72.37	65.58	80.97
BRIGHT（nDCG@10）	42.0	45.91	39.26	47.52
发票处理，主要操作	82.0	86.2	73.3	83.1

基准测试分数来自 Cloudflare 的公告，未经独立验证。

Clef 的速度提升了多少？

Cloudflare 将托管版 Clef 迁移到了 SGLang，并优化了推理服务栈，没有发布新的模型权重。在约 800 token 的输入下，延迟中位数从 262 ms 降至 152 ms，速度提升至原来的 1.7 倍。在约 3,400 token 的输入下，延迟从 616 ms 降至 305 ms，速度提升至原来的 2.0 倍。在约 16,000 token 的输入下，延迟从 2,721 ms 降至 1,635 ms。SGLang 0.5.22 将加入对 Clef 的支持。

• Clef-omni 能在一次决策调用中对文本、图像、音频和视频进行评分。
• 它是基于 Qwen3-Omni 的 30B-A3B MoE 模型，采用 Apache-2.0 许可证，价格为每百万 token $0.15。
• Clef-flash 现在的价格为 $0.038，低于 Jev 的 $0.042，托管版上下文为 24k。
• 迁移到 SGLang 后，托管版 Clef 按延迟中位数计算，速度提升至原来的 1.7 到 2.0 倍。
• Clef-omni 在意图识别任务上领先，但在推理和工作流评测中落后于 Clef。

欢迎查看 Cloudflare 的公告、模型权重和 Workers AI 文档。本项目的全部功劳归于其研究者。同时，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 150k+ 成员的 ML SubReddit，并订阅我们的 Newsletter。等等！你用 telegram 吗？现在也可以在 telegram 上加入我们。

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名有远见的创业者和工程师，Asif 致力于发挥人工智能的潜力，为社会创造价值。他最近的项目是推出人工智能媒体平台 Marktechpost。该平台以深入报道机器学习和深度学习新闻见长，内容既有扎实的技术基础，又能让广泛的读者轻松理解。平台每月浏览量超过 200 万，体现了它在读者中的受欢迎程度。