新层级进入公开预览
微软发布了 Azure API Management 专用 AI Gateway 层的公开预览版，试图把企业对模型、MCP 服务器和工具的接入治理集中到一个新的网关资源中。
与传统 API 网关不同，这一层的控制平面不再围绕“API”组织，而是围绕 模型、MCP 服务器和工具 展开。MCP，即 Model Context Protocol，是一种让模型与外部工具、数据源进行标准化连接的协议。微软强调，新层级是独立体验，并非在现有网关上再叠一层策略；不过经典层和 v2 层中已有的 AI 网关能力仍会保留。
多模型、多工具的统一入口
微软给出的核心判断是，企业 AI 应用已不再只连接单一模型供应商，网关需要适配多提供商并存的现实。该预览版可发布托管在 Foundry 上的模型，包括 OpenAI、Anthropic 和 Mistral，也支持 AWS Bedrock、Google Vertex AI 以及 OpenAI 直接提供的模型。
其中，所有兼容 OpenAI 的提供商共享同一个端点路径，网关根据请求中的 model 字段精确匹配并路由，因此每个已发布模型都必须拥有唯一名称。Anthropic 则通过自定义提供商处理，并透传 Messages API。
关键能力包括：
- 策略配置改为门户卡片式操作，覆盖令牌和请求限制、配额、内容安全、模型故障转移等；
- 网关预配约需一分钟，无需提前规划缩放单元；
- 遥测以 OpenTelemetry 令牌指标形式导出，可对接 Application Insights、Datadog、Grafana 等目标；
- 资源运行在客户自己的 Azure 订阅和 Entra 租户中。
工具侧，网关可以联合三类后端：通过 URL 连接的远程 MCP 服务器、OpenAPI 规范，以及覆盖一千多个 SaaS 应用的内置连接器。每个后端的操作都会成为可调用工具，身份验证方式可选择无认证、API 密钥、OAuth 2.0 或托管身份。
平台团队与应用团队的分工
微软设想的使用模式，是把集中治理与团队自助服务分离。平台团队负责连接并发布经过批准的模型和工具，应用团队则在测试控制台中使用这些资产并构建应用，而不必让每次变更都经过中央团队审批。平台团队继续控制防护措施和整体使用情况。
这一思路获得不少架构师和平台工程师认可。AI Engineer 新闻简报作者 Paolo Perrone 认为，被低估的价值是把成本治理放进网关：很多团队往往在事故发生后才补速率限制和支出跟踪，集中管理意味着拥有“一个控制平面”，而不是让每个应用各自打补丁。
但争议也随之出现。企业 AI 系统架构师 Adolph White Jr. 提出，当智能体运行未能正常结束时，网关究竟应如何处理已产生但流程未完成的有用输出：是保留下来供审计，还是触发故障转移并重试？这背后是 治理 AI 流量 与 治理完整生命周期 的差别。公告并未说明，智能体输出能改变哪些内容的控制权，应由网关承担，还是交给上层编排层。
权限边界与预览限制
并非所有反馈都乐观。从事数据和 AI 工作的 Sreenivasulu Kandakuru 认为这一层确有必要，但认为 Azure 相比 AWS 和 Databricks 已经落后。Databricks 在 6 月 Data + AI Summit 发布的 Unity AI Gateway 扩展了 Unity Catalog，可在运行时治理模型、智能体、MCP 服务和技能，并提供硬性支出上限、智能路由和内容防护，也能通过模型服务治理 Claude Code、Codex 等外部编码智能体。不过，相关功能许多仍在测试阶段，而且微软推出 AI 网关功能已有大约两年，实际差距未必像表面比较那样明显。
更具体的隐忧在访问控制。当前运行时访问密钥的作用域是整个网关，可访问该网关发布的所有模型和工具。微软建议每个应用使用一个密钥，但一旦密钥泄露，影响范围是整个网关，而非单个产品。对于习惯用 APIM 订阅把使用者限制在一组 API 范围内的团队来说，这里暂时找不到同等边界。
此外，该层仍是预览版：可用性采用尽力而为方式，不提供 SLA；API、遥测、限制、区域和定价都可能在正式发布前变化。预览配额会限制模型、工具、运行时密钥和吞吐量，但具体数值尚未公布；定价也要到预览后期才会公开，这让“成本治理”这一卖点仍存在不确定性。
走向判断
AI Gateway 层目前在美国东部 2 和瑞典中部区域提供，预览期间免费，并附带实验教程。它代表了企业 AI 基础设施的一种趋势：从单点调用模型，转向对模型、工具、智能体与观测数据进行统一治理。
不过，微软接下来必须回答两个问题：新层如何与 Premium 或 Standard v2 上已有的 AI 网关部署共存，以及网关级密钥是否会带来过大的横向访问风险。若这些边界问题得到补强，AI Gateway 有机会成为 Azure 企业 AI 应用的统一入口；否则，它可能先成为平台团队需要重点审查的又一个治理层。