Cloudflare 已向 AI Gateway 添加了 Web Search API Beta 版,将网关从模型推理扩展到 AI 应用程序越来越多地与模型一起调用的外部工具。 10 月 2 日发布的新 API 允许开发者通过用于提供商路由、日志记录和计费可见性的同一 Cloudflare AI Gateway 层发送搜索请求。
在发布时,网络搜索 API 支持 Ceramic.ai、Exa 和 Linkup。 Cloudflare 的提供商文档将 Ceramic.ai 列为默认提供商,并显示 Ceramic.ai 的提供商级别价格为每 1,000 个请求 0.25 美元,Exa 每 1,000 个请求 7.00 美元,Linkup 每 1,000 个请求 5.00 美元。 Cloudflare 表示,请求将按提供商标价计入 AI Gateway 积分,没有额外加价。
实际的变化不仅在于 Cloudflare 客户可以调用搜索 API。许多团队已经在其代理堆栈中的某个位置使用网络搜索、检索 API、浏览器工具或自定义爬虫。变化在于搜索被拉入与模型调用相同的管理层。对于构建代理、研究助理、合规工作流程、销售丰富工具或支持系统的团队来说,实时搜索现在变成了网关流量,而不是与单独日志和发票的单独集成。
发生了什么变化
Cloudflare AI Gateway 已经超越了简单的请求代理,进入了更广泛的多模型 AI API网关层。最近的网关功能主要集中在模型路由、提供商计费选择和 LLM 请求的可观察性上。网络搜索 API 将该控制界面扩展到接地调用:API 可以路由到支持的搜索提供商,同时在 AI 网关日志中记录请求。
这很重要,因为检索和网络接地现在已成为生产 AI 成本和可靠性的一部分,而不是可选的附加组件。客户支持代理可以使用模型进行推理,使用搜索提供程序来获取当前信息,并使用数据库或 SaaS API 来获取私人上下文。如果这些调用单独管理,工程和财务团队就无法清楚地了解工作流程的全部成本。通过将搜索置于 AI Gateway 后面,Cloudflare 将搜索视为 AI 请求路径中的另一个托管依赖项。
此次发布还为开发者提供了提供程序比较的标准化起点。 Ceramic.ai、Exa 和 Linkup 在价格、指数行为和产品定位方面有所不同。网关层不会消除这些差异,但它可以使它们在测试期间更容易观察和交换。最明显的例子是定价:根据 Cloudflare 列出的提供商费率,Exa 每 1,000 个请求的价格比 Ceramic.ai 贵得多,而 Linkup 则介于两者之间。对于大容量代理工作负载,这种分散可能会很严重。
为什么企业应该关心
对于企业来说,网络搜索 API 是从单一模型 API 集成向 AI API 控制平面 的更大转变的一部分。操作问题不再只是哪种模型能产生最佳答案。它决定了给定团队、客户、地理位置或数据类应允许使用哪种模型、搜索提供程序、检索路径和工具序列。
实时网络搜索带来了特定的治理挑战。与静态模型调用不同,搜索请求可以将查询文本公开给第三方提供商,并返回具有不确定可靠性、许可或策略特征的 Web 内容。搜索提供商还可以通过控制显示哪些来源来影响最终的模型答案。这意味着提供商选择既是成本决策,也是风险决策。
Cloudflare 的日志记录集成有助于提高可审核性。如果搜索请求出现在 AI Gateway 日志中,团队就可以检查哪些应用程序在开放网络上提供答案、它们呼叫每个提供商的频率以及成本在哪里累积。这对于安全审查、事件分析和LLM 成本管理非常有用,特别是当代理根据用户请求调用多个工具时。
无加价计费声明也相关。网关产品通常需要在操作便利性和定价不透明之间进行权衡。 Cloudflare 将 Web Search API 定位为通过 AI Gateway 积分计费的提供商标价使用量。团队仍需要验证自己的有效成本、折扣和信用核算,但公共结构使搜索支出比捆绑或未公开的标记系统更容易建模。
开发人员影响
构建代理系统的开发人员应将其视为新的工具界面,而不仅仅是另一个 HTTP 端点。搜索调用需要提供程序选择、超时处理、结果过滤、重试策略和日志中的归因。通过网关运行的搜索API可以简化一些管道,但它并不能消除仔细设计代理检索行为的需要。
直接的机会是更干净的实验。团队可以通过相同的网关路径测试 Ceramic.ai、Exa 和 Linkup,并比较实际工作负载下的成本、延迟、应答质量和源覆盖率。这比单独比较提供商演示更有用。它还可以更轻松地决定何时值得使用搜索。有些工作流程可能只需要缓存的文档或内部知识库;其他人则需要新鲜的网络结果,并且可以证明增加的成本是合理的。
该功能还可能会影响为多个产品组运行共享 AI 基础架构的平台团队。如果一个团队正在构建轻量级分类工作流程,而另一个团队正在构建浏览研究助手,那么他们的搜索使用情况将会非常不同。集中式网关日志使平台所有者能够更好地分配支出、检测失控的工具循环以及设置可在生产中使用的提供程序的政策边界。
仍然不确定的
主要的不确定性是提供程序级别的数据处理。该研究包指出,Cloudflare 的变更日志和提供商关于 Exa 零数据保留状态的文档之间存在明显差异。受监管行业的团队应在通过任何搜索提供商发送敏感查询之前直接验证保留条款,即使请求是通过网关路由的。
质量是另一个悬而未决的问题。搜索提供商的性能在很大程度上取决于查询类型、新鲜度要求、域覆盖范围、排名行为以及下游模型如何使用检索到的片段。 Beta 版为开发者提供了一种便捷的测试方式,但并不能确定哪一个提供商最适合所有代理工作负载。
不过,方向很明确:AI 网关正在从模型访问扩展到使 AI 应用程序变得有用的周边服务。搜索、路由、计费和可观察性正在成为同一堆栈的一部分。对于企业而言,这使得网关架构不再需要节省几个集成时间,而更多地需要保持对不断增长的 AI 依赖项的控制。