Vercel 已将 Microsoft Decision-1 添加到 AI Gateway，扩展了为类型化分类、路由和评分而不是开放式文本生成而构建的小而重要的模型类别。

10 月 9 日发布意味着开发人员可以使用模型名称 microsoft/microsoft-decision-1 通过 Vercel 的 AI SDK 决策 API、OpenAI 兼容决策 API 或 TypeSafe 兼容 API 调用模型。 Vercel 表示，用户只需要一个 AI 网关 API 密钥，无需单独的 Azure 帐户或部署。

从产品角度来看，这一变化很狭窄，但它表明 AI 应用基础架构的划分方式发生了更广泛的转变。越来越多的人工智能生产工作不是聊天。它决定支持票证是与计费相关的还是与技术相关的，工作流程是否应该进入下一步，人工智能答案是否满足标准，或者哪个下游模型应该处理请求。 Decision-1 为这些工作负载提供了更明确的界面。

更改内容

Decision-1 旨在回答有关文本的键入问题。 Vercel 表示，它可以返回概率、选择和分数，而不是返回自由格式的解释。这使其适合应用程序需要可立即使用的结构化答案的任务。

Vercel 列出了支持请求分类、工作流程步骤选择和 AI 响应评分标准评估作为示例。这些并不是光鲜亮丽的应用程序，但它们在企业人工智能系统中很常见。它们还往往处于成本、延迟和质量决策的关键路径中。

网关封装很重要。通过 AI 网关公开 Decision-1，Vercel 使该模型可以通过开发人员已用于其他 AI 调用的同类控制界面来使用。对于在OpenAI兼容的API网关上进行标准化的团队来说，这可以减少测试决策模型的操作摩擦，而无需创建另一个提供商帐户路径。

它还遵循OpenAI最近将类型化决策调用与一般生成调用分开的举措。重点不仅在于有另一种型号可供选择。接口类别在提供商和网关之间变得更加明显。

为什么类型化决策调用很重要

大多数 LLM 平台最初都是围绕令牌生成聊天和完成调用进行组织的。这种形状并不总是适合分类、路由、评估和策略检查。系统可能需要有界答案、置信度分数或一小组允许的选择，而不是段落。

类型化决策模型可以使这些调用更容易推理。如果应用程序询问入站消息是否属于五个类别之一，则具有概率的结构化响应比必须事后解析的自然语言答案更容易记录、比较和审核。

随着 AI 系统变得更加自动化，这种区别变得更加重要。路由决策可以确定请求是否转到廉价模型、高级模型、人工审核队列或阻塞路径。评分标准可以确定是否向客户显示人工智能生成的响应。分类器可以决定哪个团队接收支持案例。

对于开发人员来说，实际结果是架构性的。决策呼叫不应被视为仅仅是简短的聊天提示。它们是一种独立的工作负载类型，对延迟、确定性、可观察性和成本归因有不同的期望。在成熟的堆栈中，这些调用应与聊天、图像、视频、嵌入和代理流量一起显示在仪表板中。

谁受到影响

直接受众是已经使用 Vercel AI Gateway 或 Vercel AI 的开发者 SDK。他们无需设置单独的 Azure 部署即可测试 Decision-1，从而减​​少了将其与其他决策模型进行比较所需的工作量。

产品和平台团队可能会更广泛地感受到这种影响。如果一家公司拥有数十个人工智能工作流程，分类和路由调用通常会成为隐藏的基础设施。它们可能嵌入支持自动化、销售运营、内容审核、内部代理或评估管道中。一旦这些呼叫转移到网关，团队就可以开始将它们作为一流的流量进行管理。

这对LLM API成本归因具有明显的影响。决策调用可能比长生成调用更便宜，但它们可以以更高的量运行。支持平台可能会对每条传入消息进行分类。代理系统可能会评估每项任务的几个可能的后续步骤。质量控制管道可能会在发布前对每个生成的答案进行评分。

对于使用 B2B LLM 式内部平台的企业来说，教训很简单：决策流量应尽可能单独标记、计量和管理。如果所有 AI 请求都集中到一个通用的 LLM 支出桶中，团队就无法了解成本是否来自面向用户的生成、后台路由、评估或自动策略检查。

对 AI 平台团队的实际影响

Decision-1 的添加应该会促使平台团队重新审视内部 AI 工作负载建模方式。 多模型 AI API网关不再仅仅是将一种聊天模型替换为另一种聊天模型。它越来越需要支持不同的任务类别：生成、检索、图像和视频创建、代理工具使用、批处理以及现在键入的决策调用。

这会影响日志记录。请求跟踪不仅应该捕获提供者和模型，还应该捕获任务类型、输入类、返回的选择、置信度、延迟和下游操作。如果决策模型错误地处理了客户问题，团队就需要一种方法来重建所发生的情况。

它也会影响评估。类型化决策模型的准确性与聊天机器人的答案质量的衡量方式不同。团队将需要标记数据集、混淆矩阵、阈值测试和回滚计划。适用于对帐单进行分类的模型对于合规性敏感分类可能并不可靠。

它还会影响采购和政策。如果决策模型成为完整 LLM 调用的更便宜或更快的替代方案，工程团队可能会倾向于广泛使用它们。这可能是明智的，但前提是管理员可以按项目、密钥、环境和工作流程查看使用情况。否则，低成本的控制平面功能可能会成为另一个未跟踪的依赖项。

仍然不确定

Vercel 的公告确定了可用性和支持的访问路径，但并没有回答所有生产问题。公开的详细信息仍然限于基准性能、故障模式、不同工作负载的定价行为，以及 Decision-1 与真实企业数据集中其他类型化决策选项的比较。

还有一个治理问题。决策模型通常用在输出触发操作的地方。这使得置信阈值和人工审核策略比模型名称本身更重要。企业应先针对自己的数据进行测试Decision-1，然后再将其用于影响客户或受监管流程的路由、政策或评估工作流程。

更大的信号更加清晰：类型化决策调用正在成为主流 AI 基础设施的一部分。随着网关添加 Microsoft Decision-1 等模型，公司将需要采用与生成模型访问、支出报告和API-key 治理相同的规则来管理决策流量。