市面上叫"AI 网关"的产品，至少横跨五个工作层：大模型网关、MCP 网关、Agent 网关、AI 安全网关、网络层私有 AI 网关。前四类在应用层"读内容"，第五类在网络接入层"管数据走向"。

这条分界，是选型不踩坑的起点。

先说明一句：这不是行业统一分类，而是本文为混乱命名做的归纳。"AI 网关"目前有两种用法：狭义上约等于大模型网关，广义上泛指企业 AI 访问的管控点。名字没统一，说明品类还在成形。

看清它落在哪一层，比记住名字有用。

一、AI 网关为什么会分裂成五类

1、分界线：读内容的，和管数据走向的

企业用 AI 每前进一步，就长出一层网关：要统一接多个大模型、管住成本和调用，长出大模型网关；模型通过 MCP 协议调外部工具，"谁能调什么工具"要治理，长出 MCP 网关；多个 Agent 互相调用，通信要有秩序，长出 Agent 网关；安全团队要管"什么数据喂给了 AI"，长出 AI 安全网关；对数据主权要求高的企业发现，前四类多在云上、都要读业务内容，自己网络里还缺一层，于是有了网络层私有 AI 网关。

2、赛道有多大：口径本身也在分裂

QYResearch《2026-2032 中国企业级人工智能网关市场现状研究分析与发展前景预测报告》（2026 年 3 月）显示：中国企业级 AI 网关市场 2032 年规模预计达 181 百万美元，2026—2032 年复合增长率约 22.0%，2025 年全球行业平均毛利率约 45%。报告按交付形态分为"基于云"与"本地部署"，按交互协议分为"模型统一化网关"与"智能体协议网关"。

统计口径在分裂，这正是先分层再选型的原因。

图 0 · 2026 AI 网关全景：五大品类、两个层

1、大模型网关（LLM 网关）：管"应用怎么调模型"

一家公司同时用几个大模型，接口、计费、限流各不相同，需要统一入口：一套兼容接口对上，路由、缓存、各团队的 Token 消耗都收在一处。常见方案有 Kong、LiteLLM、Portkey 等；国内阿里云、腾讯云、华为云、火山云提供统一模型接入服务。这一层按部署位置与控制权，可分为托管型、开源自建型与私有化型。

图 1 · 大模型网关：夹在应用与各家大模型之间

2、MCP 网关：管"Agent 怎么调工具"

模型接进来后，下一步是让它通过 MCP 协议调外部工具和数据。MCP 是 2024 年 11 月开放的模型上下文协议标准。工具一多，问题就来了：哪个 Agent 能调哪些工具、用谁的凭据、调用有没有留痕。MCP 网关把散落的 MCP 服务器聚合成一个入口，做鉴权、按角色分配工具、记审计，代表项目有 Docker 的 MCP Gateway、IBM 开源的 ContextForge。

图 2 · MCP 网关：夹在 Agent 与外部工具之间

3、Agent 网关（A2A）：管"Agent 之间怎么协同"

多个 Agent 分工协作、互相调用，通信就需要秩序：身份是谁、任务走到哪一步、哪里要人来把关。A2A 是这个方向的互操作协议，2025 年 4 月提出，2025 年 6 月移交 Linux 基金会治理，代表项目有开源的 agentgateway。

LLM、MCP、Agent 三层边界正在互相渗透，判断标准是它在哪一层真正落地，而不是宣称覆盖几层。

图 3 · Agent 网关：治理多 Agent 之间的协同

4、AI 安全网关：管"AI 使用的内容安全"

前三类让 AI 用起来、用得顺，安全团队关心的是：员工和业务把什么数据喂给了 AI、有没有被恶意注入、会不会顺着对话泄漏。这一层识别"影子 AI"、拦提示词注入、对 AI 流量做内容级检测、留下审计记录，主体是网络安全厂商。天融信 2026 年半年报显示，其 AI 安全防护业务收入同比增长超 130%，方案已在政府、金融、医疗、教育等行业落地；安恒信息 2026 年 9 月发布 AI 安全网关，把统一模型入口、调用行为研判与审计记录收在一个控制点上。Gartner 调研显示，17% 的企业已部署 AI Agent、42% 计划一年内落地（转引自安恒信息发布资料）。

图 4 · AI 安全网关：从内容侧管住 AI 使用

5、网络层 AI 网关：管"网络加速、AI 治理与数据主权"

上面四类几乎都在应用层工作，且多是云服务：请求要先交出去，它才帮你路由、缓存、检测。对金融、汽车、制造这类压着"数据不能出门"硬线的企业，这恰恰是问题本身。这一层把统一接入多模型、算 Token、托管密钥、留审计、对出域内容脱敏这套治理搬回企业自己的网络接入处：原始数据、完整 Prompt、密钥、日志留在本地，只有脱敏后必要的模型请求受控出域；私有化部署时连控制面也驻留本地。这类能力常以网络即服务（NaaS）形态交付，国内代表厂商为犀思云，做法是把这项能力装在企业侧的融合网关 uCPE 或虚拟网关 vCPE 上，与 SD-WAN、智能访问同台运行，同时可集成安全能力。出口侧的 uCPE、vCPE 与安全设备，华为、新华三、深信服、Fortinet 等厂商都有成熟产品线。

前四类按"做什么功能"区分，这一类按"怎么交付"区分，它与前四类错位、可协同。

图 5 · 网络层 AI 网关（私有化）：整套治理本地部署、数据不出域

选型时容易付出高代价的错误，不是买错品牌，而是买在错层。下面三类问题，落地半年后常暴露。

1、只在应用层治理：数据先出域，再被读

安全网关若部署在云上或应用侧，请求要先离开企业网络，才轮到检测：原始 Prompt 与数据在"被治理"之前已经出域一次。

判断方法：问检测点落在哪一跳，数据在哪一跳离开企业网络。

2、凭据不收敛：一处泄露，横向扩散

MCP 网关若不集中托管凭据，每个 Agent 各持一份工具密钥，一份泄露等于一批工具失守；审计日志又分散在各 Agent 侧，事件发生后拼不出完整调用链。

判断方法：密钥能不能按主体单独停用，而不是整把更换。

3、控制面在云上：审计时无法自证

控制面依赖外部服务的方案，策略下发、密钥托管、日志留存都在企业之外。遇到断网、监管核查或合规审计，企业拿不出本地证据链。

判断方法：控制面能否离线驻留本地，日志能否留在自己的存储里。

多半不是功能缺陷，而是部署位置带来的结构性缺陷，事后加功能很难补。

选型的起点不是比厂商，而是确认诉求落在哪一层。用三个问题做粗筛：

Q1：AI 网关和传统 API 网关是一回事吗？

不是。API 网关面向通用 API 流量，做鉴权、限流、路由；AI 网关面向 AI 特有对象——模型调用、Token、提示词与响应、工具与 Agent。部分 API 网关厂商在原有产品上扩展了 AI 能力，但 AI 网关作为品类，指的是针对 AI 流量特性的这层治理。

Q2：大模型网关和 MCP 网关能不能合成一个？

可以部分合并，但工作对象不同：前者管模型调用，后者管工具调用。有产品同时提供两种能力，选型时应分别看它在各层的成熟度。

Q3：AI 安全网关和网络层私有 AI 网关都讲安全，区别在哪？

一个在应用层内容侧读提示词与响应，管"内容安不安全"；一个在网络接入层做接入管控与数据不出域，管"流量怎么安全落地"。两者可协同。

原始数据、完整提示词、密钥、调用日志都留在企业本地，只有脱敏后必要的模型请求受控出域；私有化部署时连控制面也驻留本地。这通常要求控制面与数据面都能部署在本地载体上。

AI 网关不是一个品类，是五个工作层。选型的起点不是拉功能清单，而是先回答：

我要解决的，是"应用怎么调模型"，还是"数据怎么不出门"？

 先分层，再对着三类失效模式核一遍部署位置，比较才有意义。

五类分两层——读内容的在应用层，管数据走向的在网络接入层；选型三问——管什么对象、数据在哪一跳被处理、控制面归谁。

市面上叫"AI 网关"的产品，至少横跨五个工作层：大模型网关、MCP 网关、Agent 网关、AI 安全网关、网络层私有 AI 网关。前四类在应用层"读内容"，第五类在网络接入层"管数据走向"。这条分界，是选型不踩坑的起点。

AI 网关分层指南：LLM、MCP、Agent 与网络层的分工与三类失效点

AI 网关分五类两层：大模型网关、MCP 网关、Agent 网关、AI 安全网关在应用层读内容，网络层私有 AI 网关管数据走向。含选型三问、三类失效点与品类对比表，助你按层选型、实现数据不出域。

人工智能

网络与通信

架构设计

AI网关横跨五个工作层：大模型网关、MCP网关、Agent网关、AI安全网关及网络层私有AI网关，前四类在应用层处理内容，后者在网络层管理数据走向。选型关键在于明确管控对象、数据出域位置及控制面归属，避免结构性缺陷。数据主权敏感企业应优先考虑本地化部署方案。

提示词注入

网络安全

内容安全

大数据

服务器

智能体

路由

Agent

Linux

2026上云采购 | AI焕新·智启新局

llmsgw

cngw

ecdn

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

AI 网关分层指南：LLM、MCP、Agent 与网络层的分工与三类失效点

AI 网关分层指南：LLM、MCP、Agent 与网络层的分工与三类失效点

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐