OpenAI 发布了新的决策 API 公开测试版,为开发人员提供了一个单独的端点来进行键入决策,而不是生成全文。该测试版于 10 月 6 日发布,支持 GPT-6 Luna,适用于预先已知输出空间的工作负载:谓词、选择和分数。
这听起来很狭隘,但很重要。人工智能生产流量的很大一部分不是开放式写作。它是分类、路由、审核相邻策略检查、意图检测、工具选择和护栏逻辑。这些调用通常要求模型生成一个小型结构化答案,然后强制应用程序解析或验证它。 OpenAI 现在将该图案视为自己的API 表面。
发生了什么变化
决策 API 将文本和图像转换为键入的答案。 OpenAI 表示,对于受支持的决策工作负载,它的速度比响应 API 快 10 倍。在公开测试版中,开发者可以将决策输出定义为谓词、选择或分数,而不是提示模型生成任意文本,然后在事后限制结果。
定价模式也不同。 OpenAI 列出了 GPT-6 Luna 在决策 API 中的使用情况,每 100 万个输入令牌 0.10 美元,不收取缓存读取、缓存写入或输出令牌费用。这使得单位经济学更容易为大容量决策层建模,因为费用仅与输入量相关。
该版本不会取代聊天、响应或面向代理的 API。它为应用程序需要可靠的键入答案而不是段落的情况创建了更专业的路径。对于已经在模型大小、延迟层和提供商路由之间划分工作负载的团队,这会向架构添加另一个类别:决策调用。
为什么开发者应该关心
许多 AI 应用已经使用小型模型调用作为内部控制逻辑。支持助理可以在选择工作流程之前对工单进行分类。编码代理可以决定接下来调用哪个工具。文档处理系统可以对记录是否满足策略阈值进行评分。面向客户的产品可以在更便宜和功能更强大的模型之间路由请求。
到目前为止,这些模式通常作为带有严格提示、JSON 架构、重试和验证层的正常生成调用来实现。这种方法有效,但会带来开销。开发者为输出令牌付费、管理解析失败,并且通常接受比决策本身应要求的延迟更长的延迟。
类型化决策端点改变了这种权衡。如果输出可以表示为布尔值、有界选择或分数,团队就可以将调用移出一般生成路径。这可以减少延迟并简化应用程序代码。它还可以减少日志和分析中的歧义,因为调用的目的是明确的。
最直接的用例可能是高频内部检查:请求路由、内容资格关卡、升级规则、工具选择步骤和模型选择政策。在这些地方,延迟和成本方面的小幅改进可能很重要,因为决策调用可能会在每个较大的模型请求之前发生。
成本和治理影响
仅输入的价格是需要关注的商业细节。对于运行大量代理护栏或路由决策的团队来说,消除输出令牌计费会改变与小型聊天模型、规则引擎和特定于提供商的分类器端点的比较。它还可以降低成本预测对输出详细程度或架构重试的敏感度。
这并不意味着每个分类器都应该转移到决策 API。当逻辑简单时,确定性规则仍然会更便宜且更容易审核。现有的嵌入、搜索或数据库过滤器可能更适合某些路由问题。但是,如果模型已被用于将杂乱的文本或图像解释为有限的答案,那么新的 API 将为团队提供更清晰的采购和工程选项。
对于平台团队来说,更大的问题是分类。如果所有人工智能呼叫都被视为聊天完成或内部仪表板中的通用响应,那么决策工作负载将难以管理。它们具有不同的延迟预期、计费行为和故障模式。拥有成熟的 LLM 成本管理计划的组织需要将决策流量与生成流量分开,以便路由、预算和警报反映工作负载的实际行为。
这同样适用于网关。如果提供商继续为决策、工具、批次、实时音频和代理开发专门的端点,仅规范聊天式调用的多模型 AI API 网关 可能还不够。 B2B LLM平台和内部 AI 控制平面可能需要一流的端点类别来进行类型化决策,而不是通过聊天抽象强制执行所有操作。
谁受到影响
如果应用程序开发人员维护提示密集型分类或路由代码,他们将获得最直接的好处。新的 API 可以让他们用更好地匹配应用程序内部状态机的类型化输出来替换脆弱的提示和解析流程。
AI 平台团队会受到影响,因为他们需要决定决策 API 是否作为单独的批准功能公开、如何记录以及哪些团队可以使用它。安全和合规性审核人员希望了解决策输出是否用于访问控制、用户资格、医疗保健工作流程、招聘、财务决策或其他敏感流程。
财务和运营团队也应该注意。如果决策调用被捆绑到更广泛的模型使用中,那么它们在执行报告中可能是不可见的。一旦应用程序开始使用模型调用作为控制平面逻辑,而不仅仅是面向用户的生成,LLM API成本归因需要捕获调用的业务功能,而不仅仅是模型名称。
尚不确定的事情
测试版公告确定了 API 的基本形状,但重要的生产细节仍需要验证。 OpenAI 尚未提供独立的基准证据来证明实际企业工作负载中“速度提高 10 倍”的说法。开发者需要使用自己的输入大小、图像负载、区域和并发模式来测试延迟。
目前还不清楚 Beta 界面的稳定性如何、速率限制与其他 OpenAI API 界面相比如何,以及决策 API 将如何与响应和未来代理 API 一起发展。该定价对于大容量决策层来说很有吸引力,但测试版定价和端点行为不应在未经合同审查的情况下被视为永久性的。
不过,战略信号很明确:OpenAI 正在将另一种常见的 LLM 申请模式与通用生成分开。对于企业而言,这意味着 AI 架构不再是选择一个模型端点,而是更多地将每个工作负载与正确的 API 原语相匹配。