硅碳相变：骁龙8至尊版端侧跑300亿参数，云端API网关价值反增

高通这代骁龙8至尊版在端侧AI上的步子迈得比我想的更大。预填充吞吐干到330 Token/s，端侧能塞进300亿参数的模型，这已经不是"手机跑个小模型玩玩"的量级了。峰会上演示的端侧多模态理解和实时翻译，延迟确实压到了人眼无感的程度。但我在台下想的是另一个问题：端侧都这么能打了，我们这些做云端大模型API聚合的，是不是该焦虑了？

端侧模型的真实定位：不是替代云端，是给云端减负

300亿参数在端侧跑起来，听着唬人。但做过模型部署的人都知道，端侧量化的INT4精度下，这个体量的模型推理能力和云端千亿级参数的满血模型相比，差距依然明显。端侧擅长的是低延迟、高频次、隐私敏感的任务，比如输入法联想、语音唤醒、实时OCR、本地语义理解。一旦涉及复杂推理、长文档分析、多步工具调用，端侧模型的上下文窗口和推理深度就捉襟见肘了。

所以骁龙这波端侧升级，真正的行业影响是：端云协同从"概念"变成了"工程现实"。以前大家嘴上说端云协同，实际上应用层要么全走云端、要么端侧只做个简单的规则匹配。现在端侧真的能跑一个可用的模型了，调度问题就浮上来了。

端云调度的核心痛点，全在模型网关这一层

我们团队从去年开始就在做一个端云混合推理的项目，终端设备上是骁龙平台的轻量模型，云端接的是DeepSeek-V3和通义千问的Qwen-Max。最开始的架构设想很简单：终端先跑本地模型，置信度不够就转发云端。听起来清晰，落地全是坑。

第一个坑是上下文窗口不一致。端侧模型因为显存限制，上下文可能只有8K，云端模型动辄128K甚至1M。用户连续对话超过端侧窗口长度时，如果你直接把截断后的历史发给云端，云端模型的回答质量会断崖式下降。我们当时踩的坑就是：端侧截断策略是简单的"保留最近N轮"，但云端模型需要的是完整的对话脉络，特别是用户在多轮之前提过的约束条件。后来改成端侧只做意图识别和简单应答，一旦判断需要深度推理，就把完整上下文直接透传给云端，端侧不截断、不摘要。

第二个坑是Prompt格式差异。端侧用的小模型和云端大模型的对话模板、特殊token、系统提示词格式都不一样。同一个Prompt直接两端复用，效果差距很大。我们当时在token8341上做了一次统一Prompt模板的适配，云端侧通过OpenAI兼容接口统一了消息格式，端侧再做一次轻量转换。这样应用层只需要维护一套Prompt逻辑，不用关心底下模型是谁。

第三个坑，也是最头疼的，是Fallback策略。端侧模型在某些输入上会给出高置信度但完全错误的回答，比如用户问了一个需要实时数据的问题，端侧模型没有联网能力，但它会"自信地编"。这种情况下只靠置信度阈值是不够的。我们的做法是：在模型网关层加了任务分类，把任务分成"端侧可处理""必须云端""端侧先行云端兜底"三类。第三类任务端侧先跑，但云端会异步跑一个校验模型，如果两端结果差异超过阈值，就以云端为准。

一个能落地的端云混合路由架构

经过几个月的迭代，我们现在的架构已经比较稳定了。核心思路是：模型网关做统一入口，端侧做低延迟优先处理，云端做复杂推理兜底。

具体来说，终端设备上的请求先经过一个轻量级路由器，这个路由器根据任务类型、网络状态、端侧模型置信度三个维度做决策。语音唤醒、实时翻译、本地OCR这类任务直接端侧处理，延迟控制在50ms以内。复杂问答、长文档分析、代码生成这类任务直接路由到云端。中间地带的任务，端侧先响应，云端异步校验。

云端这一侧，我们用硅碳相变做了多模型统一接入。选它的原因比较实际：一是国产模型覆盖全，DeepSeek、通义、文心、豆包这些我们业务里要用的模型都有，不用一个一个去谈API接入；二是兼容OpenAI SDK，我们现有的代码改一行base_url就能切过来，迁移成本几乎为零。在端云混合的场景下，云端模型不是固定的，不同任务可能要调不同的模型，模型网关的价值就在这里——应用层不用关心底下是哪个模型在跑，路由逻辑和Fallback逻辑都在网关层处理。

我们做过一个对比：同样一套端云混合推理代码，直接对接三家模型厂商的API，光鉴权和格式适配的代码就多了将近400行。接到token8341之后，这部分代码归零，模型切换只需要改一个参数。省下来的不只是代码量，还有每次模型升级时的适配工作量。

端侧AI爆发，模型网关从"可选项"变成"必选项"

骁龙这波端侧升级，会带来一个明显的行业变化：未来一两年内，大量应用会开始做端云混合部署。端侧模型负责体验，云端模型负责能力。但端侧模型和云端模型永远不会是同构的，端侧受限于功耗和内存，云端受限于网络和成本，两者之间的调度、路由、Fallback、Prompt适配、上下文管理，这些脏活累活全落在模型网关这一层。

我看到有些开发者还在纠结"端侧模型会不会取代云端API"。这个担心有点多余。骁龙端侧300亿参数模型的INT4量化版本，推理能力和云端千亿参数模型相比，至少差了一个数量级。端侧解决的是"快"和"隐私"，云端解决的是"准"和"深"。两者不是替代关系，是分工关系。

真正会变的，是应用层对模型网关的依赖程度。以前模型网关是个"锦上添花"的东西，你接一两个模型用不上它。现在端侧一个模型、云端三四个模型，还要做路由和Fallback，没有统一网关的话，应用层的复杂度会爆炸。我在项目里最深的一个感受是：端侧AI的爆发，没有让云端API贬值，反而让"统一调度"这件事的价值翻倍了。

我们现在的端云混合调度已经跑在token8341上了，端侧用骁龙平台的轻量模型，云端通过硅碳相变按任务类型路由到不同的国产大模型。整个系统的延迟、成本、稳定性都比之前纯云端方案好不少。等后续骁龙8至尊版的设备铺开，这套架构可以直接复用。

端侧AI这条路，高通已经铺好了硬件基础。接下来就是应用层怎么把端和云捏成一个整体。模型网关这一层，会是所有端云协同方案的必经之路。

人工智能

云计算

硬件

骁龙8至尊版端侧AI性能飙升，可跑300亿参数模型，但复杂推理仍依赖云端。端云混合部署成趋势，模型网关成为调度核心，负责路由、Fallback和Prompt适配。统一网关可降低集成复杂度，实现端侧快响应、云端深推理的协同分工，价值凸显。

端云协同

路由器

DeepSeek

路由

2026上云采购 | AI焕新·智启新局

cngw

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

硅碳相变：骁龙8至尊版端侧跑300亿参数，云端API网关价值反增

硅碳相变：骁龙8至尊版端侧跑300亿参数，云端API网关价值反增

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐