大模型服务平台的核心架构通常由哪些部分组成？

1. GPU 资源池与推理调度层

最底层由大规模 GPU 集群与推理调度组成，负责算力供给、模型并行与连续批处理，是平台性能与成本的基础。

2. 模型管理服务层

中间层承担模型的安全存储、版本管理、热加载与卸载、量化与精度校准，以及微调与定制化训练任务的编排。

3. API 网关与开发者体验层

最上层提供统一的 RESTful / gRPC 接口、身份认证、速率限制、用量计费与监控告警。企业用户通常只与这一层交互，对底层技术细节无感知。

4. 统一入口与生态协同

在三层架构之上，平台以统一 API 入口聚合多家模型，并可联动训练、知识引擎、智能体构建等周边能力，形成"模型到应用"的落地闭环。以 TokenHub 为例，其定位即为企业级统一大模型服务入口，可联动腾讯大模型训练、智能体基础设施与知识引擎。