Cloudflare 推出 Clef‑omni 多模态决策模型，30B 参数一次调用搞定音视频图文

引言：一次调用，四种模态全覆盖

在人工智能进入多模态时代的背景下，Cloudflare Clef‑omni 以“一次调用即返回文本、图像、音频、视频评分”的能力，刷新了多模态决策模型的使用门槛。该模型于 2026 年 10 月 9 日正式上线，紧随此前的 Clef 与 Clef‑flash 发布，仅用 8 天便完成全模态统一。对于需要快速原型、降低流水线复杂度的开发者而言，这意味着可以省去传统的转写、字幕生成等前置步骤，直接在 Workers AI 上完成完整的感知与决策。

模型概览：结构与规模

Clef‑omni 属于 Cloudflare 自研的 Clef 系列决策模型家族，采用混合专家（Mixture‑of‑Experts，MoE）架构：

• 总参数量 30 B，其中 3 B 为活跃参数，通过专家路由机制在推理时动态激活。
• 支持 64 000 token 上下文窗口，足以容纳长文本或多段音视频元数据。
• 模型部署在 Cloudflare Workers AI，对外提供 @cf/cloudflare/clef-omni 接口；亦可在本地单卡 H200（约 64 GB GPU 显存）上自托管。

性能评估：优势与短板

核心任务表现

在路由（routing）和意图识别（intent）任务上，Clef‑omni 的得分几乎与同系列的 Clef 持平，说明其在快速判断用户需求方面保持了高可靠性。

推理与工作流评测

相较于专注文本的 Clef，Clef‑omni 在复杂推理和工作流评估（workflow evals）上略显不足，主要原因是模型在统一多模态特征时会牺牲部分深层语义推理能力。

公开基准成绩

• 在 CLINC150+OOS 数据集上取得 97.7 macro‑F1，领先同类四个 Clef 与 Jev 模型。
• 在 POP909‑CL（音乐音频）任务上仅为 2.6% 准确率，显示对细粒度音频内容的辨识仍有提升空间。
• 在 GPQA（通用知识问答）上得分 47.4，低于竞争对手 Jev 的 78.3，说明在硬推理场景中仍需配合更强的文本模型。

技术亮点：一次调用的实现原理

Clef‑omni 通过统一的 token 编码器将四种模态的原始信号（文本、图片像素、音频波形、视频帧）映射到同一嵌入空间。随后，MoE 层根据输入特征动态选择最合适的专家子网络进行处理，最终输出一组带概率的结构化答案，而不是自由文本。这种“决策模型”设计使得：

• 开发者无需自行设计转写或目标检测等前置模型。
• 系统可以在单次 API 调用中返回多模态置信度，便于后续业务逻辑直接使用。
• 在 Cloudflare 的边缘网络上运行，可实现低延迟的本地化推理。

行业影响：开发者与企业的机会

1. 降低多模态项目门槛：传统多模态系统往往需要分别部署 ASR、OCR、图像分类等子模型，成本与维护复杂度高。Clef‑omni 的“一站式”方案让创业团队可以在几行代码内完成原型。

2. 加速边缘 AI 部署：借助 Cloudflare Workers AI，模型可以在全球节点就近执行，适用于实时内容审核、交互式客服等对时延敏感的场景。

3. 促进跨模态创新：统一的决策输出为多模态检索、内容推荐提供了统一的评分标准，帮助企业构建更精准的多媒体搜索引擎。

局限性与未来展望

尽管 Clef‑omni 在统一调用上具备显著优势，但其在深度推理和专业音视频细节辨识方面仍不及专门的文本或音频模型。开发者在需要高精度音乐识别、医学影像诊断等细分领域时，仍需结合专用模型进行二次验证。

从技术路线看，Cloudflare 未来可能通过扩大 MoE 专家数量、引入更大规模的多模态预训练数据来提升推理能力。同时，随着 GPU 计算力的提升，模型的自托管门槛也有望进一步降低，使得本地部署成为可能。

实践建议：如何在项目中落地 Clef‑omni

对于想要快速尝试多模态决策的团队，建议：

1. 在 Cloudflare Workers 中创建一个 fetch 调用，使用 @cf/cloudflare/clef-omni 接口提交包含文本、图片 URL、音频 URL、视频 URL 的 JSON 请求。
2. 根据返回的 type（如 text、image 等）和 probability 字段，直接在业务逻辑中做分支判断，例如触发不同的客服脚本或内容过滤规则。
3. 若对推理速度有更高要求，可考虑在本地单卡 H200 上部署模型，利用 bfloat16 精度进一步压缩显存占用。
4. 在关键业务（如金融合规、医疗诊断）仍保留专业模型进行二次校验，以弥补 Clef‑omni 在硬推理上的不足。

结语：一次调用的多模态决策新范式

Cloudflare Clef‑omni 的发布标志着多模态 AI 正从“多模型拼接”向“单模型全覆盖”迈进。它为开发者提供了更简洁、更高效的感知与决策路径，同时也提醒我们在追求便利的背后，需要关注模型在特定任务上的局限性。未来，随着模型规模和专家路由机制的进一步优化，Clef‑omni 有望在更多行业场景中实现真正的“一键多模态”。