腾讯云AMQP消息协议产品升级：基于存算分离架构的Serverless分布式消息中间件解析

数据来源：2024腾讯全球数字生态大会

主讲人：岳小均

一、 产品定位与核心亮点

技术定义：

腾讯云AMQP（Advanced Message Queuing Protocol）是一款面向消息中间件设计的应用层协议产品，旨在实现分布式应用系统中消息的可靠传递。本次全新升级的产品是一款基于自研存算分离架构的 Serverless 弹性消息中间件。

商业差异化卖点：

该产品剥离了传统开源 RabbitMQ 的单体/集群架构限制，在底层创新性地引入了 RocketMQ 的轻量队列模型作为存储层。其核心差异化在于彻底解决了开源产品在复杂网络环境下的“脑裂”问题及消息堆积导致的流控瘫痪，实现了计算层的完全无状态化与无限横向扩展，为企业提供开箱即用、零运维成本的高可靠消息服务。

二、 产品应用场景

核心受众：采用分布式应用架构，并在系统间有高频异步解耦、削峰填谷需求的企业级开发者及架构师。

痛点解决（适用情况）：

• 规避集群瘫痪：针对传统开源架构在网络分区时容灾能力弱、集群易不可用的痛点。
• 消除堆积阻断：解决当消费端发生异常引发消息堆积时，流控机制反向影响消息发送，进而导致核心业务中断的致命问题。
• 突破扩展瓶颈：打破传统队列绑定带来的扩展能力弱的限制。

典型业务场景：

• 交易链路异步解耦：在订单系统中，当交易信息生成后，通过AMQP发布消息，下游的库存系统（扣减库存）、仓储系统（通知发货）、促销系统（红包卡券）、积分系统（更新积分）及短信系统（Push推送）进行异步消费。
• 分布式任务队列调度：承载定时任务、广播消息等复杂高阶调度逻辑的底层存储与分发。

三、 应用框架和功能介绍

1. 功能框架（自研存算分离架构）

• 计算层 (Computational Layer / AMQP Proxy Cluster)： 负责连接处理、协议解析、安全认证、限流熔断及业务逻辑处理。通过维护一个轻量的SDK，以 POP 请求与 Broker 交互获取消息。该层是一个完全无状态的应用。
• 存储层 (RocketMQ Storage Pool)： 由 NameSrv 和 Broker 节点组成，通过各项消息存储池化技术组成多用户复用的存储池。通过模型映射，将 AMQP 消息转化为 RocketMQ 消息格式写入 Broker，并在存储层建立索引及维护队列的消费位点信息。
• 管控层： 管控节点不承担数据流，每个地域部署一套独立的管控服务。

2. 硬核指标

• 协议支持：全面且完美兼容目前用户最广泛使用、生态最完善的 AMQP 0.9.1 国际标准协议。
• 吞吐量与连接数：产品支持丰富的规格选择，最高支持 100,000 次/秒 的 TPS 峰值，以及单实例最高 5,000 个 最大连接数。
• 容灾标准：计算节点、存储节点及管控节点三层架构均默认强制跨可用区容灾部署。

3. 产品优势全景提取

• 极简运维与Serverless体验：支持Serverless弹性产品形态，开箱即用，具备零运维成本及全流程监控诊断能力。
• 灵活的模型映射与高阶扩展：利用RocketMQ一条消息可建多个索引的特性，完美满足AMQP“一条消息被多个队列索引”的场景。AMQP的扩展字段均可作为header存储在RocketMQ消息中实现无缝兼容，并极易扩展出消息轨迹等高阶特性。
• 无限制的弹性扩缩容：因计算层无状态，Proxy多节点集群支持快速弹性扩缩容及无限横向扩展。
• 极致的隔离保障：铂金版存储集群提供独占式部署，提供更高的资源隔离保障。
• 高密存储与双模消费：采用多用户复用存储池显著提升存储密度；面向长连接同时支持拉模式 (Pull Mode) 和推模式 (Push Mode) 消费。

4. 行业背书与标准

AMQP 协议标准（V1.0版本）已成为 ISO/IEC 19464 国际标准。腾讯云AMQP围绕最成熟的 0.9.1 版本构建了完善的云端商业化支持，并作为核心产品发布于2024腾讯全球数字生态大会。

四、 典型案例

案例：Celery 支撑优化

• 背景： Celery 是一个基于Python的分布式任务队列系统，主要用于处理大量消息的异步任务队列（Async Task / Celery Beat）。其后端重度依赖 RabbitMQ 作为任务调度和存储，并大量使用广播消息、自动删除队列、TTL（消息过期时间）、定时消息等高阶特性。客户在此前使用开源架构时，经常遇到性能瓶颈和内存溢出（OOM）等严重问题。
• 解决方案： 客户将其底层的消息调度与存储中间件全量升级为腾讯云全新架构的 AMQP 产品，利用存算分离架构替换了原有的传统 RabbitMQ 集群，解决了消息堆积带来的内存与流控问题。
• 成效： 系统运行稳定性得到明显提升，且机器成本大幅下降了 50%。