AI

Decision 3.0：开源多模态决策模型全解析

vLLM Semantic Router 推出的 Decision 3.0 系列模型，支持文本、JSON 与图像输入，直接输出概率或评分，帮助开发者快速完成请求分类、路由与门控。本文详细解读模型规格、性能表现及行业意义，助你把握下一代 AI 决策技术的脉搏。

向量笔记

• 6 min read
Decision 3.0：开源多模态决策模型全解析

什么是 Decision 3.0？

Decision 3.0 是由 vLLM Semantic Router 团队发布的一套开源多模态决策模型，核心特点是接受文本、JSON 以及图片作为输入，并返回结构化的概率、是/否或分数答案，而不是传统的生成式文本。该系列共提供五种规模的模型，从 0.85 B 到 26 B 参数不等，全部采用 Apache‑2.0 许可证，开发者可以自由下载、部署并在自己的业务场景中直接使用。

模型家族概览

  • d3‑lite（0.85 B）——极轻量，适合资源受限的边缘设备。
  • d3‑nano（2.21 B）——在保持低延迟的同时提供基本的多模态判断能力。
  • d3‑mini（4.54 B）——在准确率与计算成本之间取得平衡。
  • d3‑flash（8.39 B）——针对高并发请求优化，适合中等规模的服务。
  • d3（26.09 B）——旗舰版，兼顾文本与视觉任务的最强表现。

所有模型均使用 BF16 权重，官方暂未提供量化版本。实验室报告显示，在单块 AMD Instinct MI325X GPU 上的推理延迟已经可以满足大多数实时业务需求。

核心技术特点

1. 多模态输入统一化

传统的语言模型往往只能处理纯文本，而 Decision 3.0 在架构层面引入了跨模态特征融合模块，使得文本、结构化 JSON 与图像能够在同一张量空间中交互。这样一来，开发者只需一次调用即可完成文档内容识别、表单字段抽取以及图片标签判断等复合任务。

2. 概率输出代替生成式文本

模型的输出被设计为“选择题（Choice）”“是/否（Yes/No）”“分值（Score）”三种类型的概率分布。相较于生成式回答，这种结构化输出更易于后端系统直接使用，省去了二次解析的成本，也降低了误解或歧义的风险。

3. 开源与可商用

Apache‑2.0 许可证意味着企业可以在闭源产品中嵌入 Decision 3.0 而无需额外授权费用，极大降低了 AI 决策层的进入门槛。

性能表现与基准

在官方内部评测中，26 B 的 d3 模型在文档信息抽取（KIE）任务上取得了 97.7 的高分，显著领先同类视觉‑语言模型。另一方面，在 R‑Bench‑M 基准上得分为 34.1，说明在某些特定的推理压力场景下仍有提升空间。

值得注意的是，8 B 的 d3‑flash 在同等硬件配置下的吞吐量已经能够媲美上一代 27 B 模型，展示了模型压缩与架构优化的潜力。

行业应用场景

  • 智能客服路由：通过对用户的文字描述、结构化订单 JSON 以及截图进行统一判断，快速决定是转人工还是机器人处理。
  • 文档自动分类：在企业内部文档管理系统中，直接对 PDF 页面、表单图片以及嵌入的元数据进行多模态分析，实现精准标签化。
  • 内容安全审查：结合文本审查与图片敏感度检测，一键输出是否违规的概率，帮助平台实现实时风控。
  • 金融风控：对交易记录（JSON）与相关凭证（图片）进行联合评估，输出风险评分，辅助风控决策。

局限性与不确定因素

虽然 Decision 3.0 在多模态理解上取得了突破，但仍存在以下几个值得关注的限制：

  1. 官方未公布模型的上下文长度上限，实际使用中可能受限于显存。
  2. 目前仅提供 BF16 权重，缺少 8‑bit、4‑bit 量化版本，导致在低功耗设备上的部署成本仍偏高。
  3. 性能数据主要基于内部基准，缺少公开的第三方对标报告，实际表现需自行验证。

对开发者的行动建议

如果你的业务已经涉及文本、结构化数据与图片的联合处理，Decision 3.0 提供了一个“一站式”解决方案。建议按照以下步骤快速试水：

  1. 从 GitHub 下载 d3‑mini 或 d3‑flash 的预训练权重，先在本地小批量数据上跑通推理。
  2. 根据业务需求定义“问题模板”，例如“该请求是否属于高风险？”或“文档中的金额字段是否完整？”。
  3. 利用提供的 API 将文本、JSON 与图片统一封装为“state”，并发送到模型进行概率预测。
  4. 根据模型输出的置信度阈值，决定是否进入后续人工审核或自动化处理流程。
  5. 持续收集真实业务反馈，微调模型或自行蒸馏出更轻量的专属版本。

通过上述流程，你可以在不依赖大型云服务的前提下，实现高效的请求分类与路由，显著降低运营成本。

展望：Decision 3.0 与下一代 AI 决策的关系

Decision 3.0 的出现标志着 AI 决策层正在从“生成式”向“结构化概率”迁移。这一趋势背后是企业对可解释性、可审计性以及系统集成效率的更高要求。未来，随着模型量化、长上下文支持以及更丰富的多模态感知能力的逐步落地，Decision 3.0 可能会演进成更通用的“决策引擎”，成为 AI 应用栈中不可或缺的中间层。

总之，Decision 3.0 为开发者提供了一个高效、开源且易于集成的多模态决策框架。无论是初创公司还是大型企业，都可以借助这套模型快速构建智能路由、分类与风险评估系统，抢占 AI 赋能的先机。