OpenRouter 推出了用于异步 LLM 推理的批量 API，为可以等待结果而不是为立即同步响应付费的团队添加了新的成本面。
9 月 22 日的版本允许用户向 /api/v1/batches 提交批量工作负载以完成聊天、响应、消息和嵌入。 OpenRouter 表示，该功能适用于 70 多种型号。它还表示，当提供商可以在 24 小时内完成工作时，他们通常会收取正常每个代币定价的 50% 或更少。
这使得该公告比其他端点更有意义。它正式形成了许多人工智能团队已经非正式管理的分割：一些模型调用需要在用户等待时发生，而许多其他模型调用可以在后台运行。评估、分类作业、嵌入、文档丰富、标签、回填、红队测试套件和大型摘要队列通常不需要低延迟响应。到目前为止，这些作业经常通过与交互式产品功能相同的同步 API 模式推送。
发生了什么变化
OpenRouter 的 Batch API 创建了一个单独的工作路径，可以排队并异步完成。用户不再发出一个请求并保持开放的响应路径，而是提交一批、跟踪其状态并稍后检索已完成的输出。
实际的变化既经济又技术。 OpenRouter 的声明称，如果供应商能够在 24 小时内完成工作，他们通常会将这些工作负载的价格定为标准每个代币费率的一半或更低。该公司还报告称，其 Beta 版处理了超过 230,000 个已完成的批次，平均完成时间为 7 分钟。
这些数字不应被视为通用服务水平保证。可用折扣取决于提供商支持和路由，完成时间将因模型、队列深度、工作负载形状和提供商容量而异。但方向很明确：API平台开始将延迟作为有意的成本控制杠杆。
为什么它对 AI 团队很重要
对于开发者来说，批处理改变了 LLM 工作的设计方式。产品团队可能仍然使用同步调用进行聊天、代码协助、代理工具使用或面向客户的工作流程。但同一个团队可以将定期评估运行、夜间知识库处理、嵌入生成和离线分析转移到成本较低的队列中。
这很重要，因为令牌支出越来越多地分散在许多隐藏的操作任务中。公司可能首先注意到可见人工智能功能的成本，但一旦团队开始大规模运行评估、质量检查、内容审核、数据集转换和检索维护，内部作业可能会成为推理量的很大一部分。批量 API 使这些后台工作负载更易于分离、预算和优化。
该版本还强化了 AI API 成本控制 中更广泛的模式：企业需要的不仅仅是一系列受支持的模型。他们需要路由、可观察性、策略、使用情况分析和计费逻辑来了解交互式推理和延迟推理之间的操作差异。
对于使用多模型网关的团队来说，批量推理会立即引发治理问题。哪些提供商有资格执行批量作业？是否某些模型仅被批准用于面向用户的同步使用，而更便宜的模型更适合离线评估？失败的批次项目如何重试？财务或平台团队能否将异步令牌使用归因于正确的产品、客户、环境或内部团队？
谁受到影响
最明显的受益者是拥有大量延迟容忍 LLM 工作的团队。人工智能评估团队可以运行更广泛的测试套件，而无需将每个提示都视为实时事务。数据团队可以以较低的成本处理积压的支持票证、文档、成绩单或产品目录。检索团队可以在后台生成嵌入和元数据。安全和治理团队可以运行策略检查或审核工作负载，而无需与生产延迟预算竞争。
初创公司和小型团队也可能受益，因为批量定价可以降低实验成本。比较多个模型进行汇总或分类的团队可以在投入生产路线之前运行更大规模的离线测试。也就是说，成本节约并不是自动的。如果工作流程仍然阻碍用户，或者下游系统未构建为轮询完成情况和处理部分失败，则强制其进入批处理模型可能会带来比价值更多的复杂性。
对于平台和基础设施团队来说，该公告指出了可能会扩散的产品需求。随着批量定价变得越来越普遍，内部人工智能平台将需要对异步作业进行单独的控制：配额、审批流程、保留规则、取消行为、状态监控和成本归因。单个聚合令牌计数器是不够的。
仍然不确定
主要的不确定性是模型和提供商之间节省的一致性。 OpenRouter 将 50% 水平描述为一般提供商模式，而不是承诺每种型号或路线始终都能以该折扣提供。买家需要检查哪些型号支持批量模式、如何在日志和发票中显示定价，以及路线更改是否会改变预期的经济效益。
还有一个关于完成窗口的操作问题。对于许多离线工作负载来说，24 小时窗口是合理的，但企业仍然需要知道大多数作业是否在几分钟、几小时或接近截止日期的时间内完成。 OpenRouter 报告的测试版完成时间中值 7 分钟令人鼓舞，但中值性能并不能回答大批量生产的尾部延迟问题。
更重要的是，LLM 基础架构正在变得不再那么单一。旧模型很简单：发送提示，获得响应，支付列出的代币价格。新兴模型更像是云基础设施定价，其中时间、路由、工作负载类别、提供商选择和策略都会影响成本。 OpenRouter 的 Batch API 为开发人员提供了一种利用这种差异的新方法，前提是他们的系统旨在将延迟推理视为一流的工作流程。