一文看懂AI推理芯片和训练芯片的区别

AI大模型的生命周期分为两个截然不同的阶段——训练和推理。训练是将海量数据喂给模型、通过反向传播迭代更新数十亿参数的过程，需要的是「蛮力算力」——高精度浮点计算、超大HBM带宽和多卡高速互联。推理是模型部署后对用户请求做出实时响应的过程，需要的是「巧力效率」——低延迟、低功耗、低成本。这两种截然不同的需求正在推动AI芯片产业从GPU一统天下走向训练和推理的分化路线。本文从计算范式、硬件架构、精度格式到市场格局逐层对比，一文讲透这两类芯片的本质差异与投资逻辑。

01

「 训练vs推理 」

一个模型的两个生命周期：算力的不同需求

AI CHIP ARCHITECTURE

•

01

PART

训练的计算特征：为什么训练比推理困难100倍 >>>

AI模型训练本质上是求解一个数亿到数万亿维度的非凸优化问题——目标是最小化模型预测与真实标签之间的误差。这一过程的计算量惊人：一个GPT-4级别的大模型训练需要消耗约2×10^25次浮点运算（FLOP），相当于10万张H100 GPU不眠不休运行约90天。训练时每一层神经网络都需要在前向传播中计算激活值并暂存，然后在反向传播中利用这些暂存的激活值计算梯度。以LLaMA-70B的训练为例，仅储存中间激活值就需要额外的数TB显存——这就是为什么训练芯片不仅需要TFLOPS级别的算力，还需要TB/s级别的HBM带宽来搬运海量的权重和激活值数据。训练的另一关键特征是分布式并行——一个万亿参数模型无法塞进单张GPU的显存，必须将模型切分到数千甚至数万张GPU上，通过张量并行（Tensor Parallelism，切分矩阵乘法）、流水线并行（Pipeline Parallelism，不同层放在不同GPU上）和数据并行（Data Parallelism，每张GPU处理不同批次数据）的组合策略实现协同训练。这要求GPU之间具备极高的互联带宽（NVLink 900GB/s，NVSwitch提供全互联）——如果互联带宽不足，GPU的大量时间将浪费在等待数据同步上而非有效计算。这也是为什么训练芯片天然倾向于NVIDIA的封闭生态——CUDA、NVLink和NCCL通信库的深度整合形成了任何竞争对手都难以跨越的软件护城河。

02

PART

推理的计算特征：从蛮力到巧力的范式转换 >>>

与训练相反，模型推理是参数固定的条件下执行单次前向传播——输入一段文本或一张图片，模型逐层计算出下一层激活值，直到输出最终结果。推理不需要计算梯度，不需要储存反向传播所需的中间激活值，也不需要多卡互联——理论上单张芯片即可独立完成一次完整的推理。推理的核心矛盾不是在有限的显存里塞下海量计算，而是如何在满足实时延迟要求（通常<100ms/token）的前提下，以最低的成本（功耗×芯片面积×单价）服务最大量的并发请求。一个大模型推理服务提供商的成本结构非常清晰地反映了推理芯片的优化方向。以运行LLaMA-70B为例，单次请求的推理延迟由三部分贡献：模型权重的加载时间（受显存带宽限制）、矩阵乘法的计算时间（受芯片TFLOPS限制）和KV Cache的读写时间（受显存容量和带宽限制）。对于自回归生成（每个Token依赖前一个Token），显存带宽往往是比算力更优先优化的瓶颈——芯片可以有再强的算力，如果数据搬运不过来也是空转。这解释了为什么Groq的推理芯片LPU以230MB的超大SRAM而非HBM为核心卖点——当整个模型的权重都能塞进片上SRAM时，数据搬运延迟趋近于零，推理速度可以提升数倍。推理芯片不需要与训练芯片进行同等维度的算力军备竞赛——其竞争焦点在于单位成本下的吞吐量和延迟。

AI CHIP ARCHITECTURE

•

03

PART

精度格式的分化：为什么推理可以用整数，训练必须用浮点 >>>

训练和推理在数值精度需求上的差异是理解两类芯片硬件架构差异的关键入口。训练要求高精度浮点计算（FP16/BF16/FP32），因为反向传播时需要精确的梯度来指导参数更新——如果梯度因精度不足而被截断或溢出，模型可能无法收敛或收敛到次优解。NVIDIA H100的FP16 Tensor Core算力约990 TFLOPS，这是训练场景的核心性能指标。推理则可以使用低精度整数运算（INT8/INT4），甚至FP8——因为在参数固定后，模型对数值精度的容忍度大幅提高。一个INT4量化版本的LLaMA-13B模型，其模型权重所需的存储空间仅为FP16版本的1/4，推理吞吐量提升数倍，而精度损失通常控制在1%以内。精度差异直接决定了芯片的MAC（乘加运算）单元设计——训练芯片的Tensor Core需要支持FP16的乘加和FP32的累加，硬件资源消耗大且功耗高。推理芯片可以用更小面积的INT8乘法器阵列实现同等甚至更高的算力密度（因为INT8乘法器的面积约为FP16的1/8-1/10）。这也是为什么专用推理芯片可以在远低于GPU的芯片面积和功耗下，实现逼近甚至超过GPU的推理吞吐量。Google的TPU v5在INT8推理上每瓦性能是H100的2-3倍，AWS的Inferentia2每美元推理吞吐量是GPU的3-4倍——专用推理芯片的ROI优势在模型规模越大时越明显。

04

PART

补充判断 >>>

AI模型的一生分为训练（Training）和推理（Inference）两个阶段。训练是「学」的阶段——输入海量数据，通过前向传播计算预测值，再通过反向传播计算梯度、更新模型参数，反复迭代直到模型收敛。推理是「用」的阶段——模型参数固定不变，对用户输入做一次前向传播就输出结果。本章从计算量、数据流模式和系统架构三个维度建立训练和推理的本质差异框架，阐明为什么同一个模型在这两个阶段对芯片的需求完全不同。

02

「 训练芯片 」

GPU、TPU与AI专用加速器的算力军备竞赛

▋AI CHIP ARCHITECTURE

NVIDIA H100/B200：训练芯片的事实标准与代际优势

NVIDIA H100（Hopper架构）是2023-2024年全球AI训练的绝对主力芯片。其第四代Tensor Core引入了Transformer Engine——一个可动态在FP8和FP16精度之间切换的硬件单元，专为Transformer模型的多头注意力和前向传播层优化。H100的HBM3带宽达3.35TB/s（80GB版本），支持900GB/s的NVLink 4.0互联，一台DGX H100服务器内的8颗H100可以通过NVSwitch实现全互联（All-to-All通信），总互联带宽7.2TB/s。2024年推出的B200（Blackwell架构）将HBM3E容量暴增至288GB、FP4算力推至4.5PFLOPS——一张B200的算力约等于7张H100。但B200的功耗也高达1000W，需NVIDIA训练芯片的护城河不在于单一硬件的领先——AMD MI300X的FP16算力（1.3PFLOPS）和HBM容量（192GB）实际上与H100相当甚至超越——而在于CUDA软件生态、NCCL通信库和NVIDIA AI Enterprise软件栈的深度捆绑。全球超过95%的AI研究者和工程师使用CUDA训练模型，几乎所有的AI框架（PyTorch、JAX、TensorFlow）都已为CUDA深度优化。AMD的ROCm虽然在快速追赶（ROCM 6.0已大幅改善PyTorch兼容性），但数百万行CUDA代码的迁移并非成本为零——这种软件粘性是NVIDIA能够在硬件指标被追平的情况下仍维持90%+训练市场份额的根本原因。

挑战者的差异化路径：TPU、Trainium、Cerebras和国产替代

Google TPU是除了NVIDIA GPU之外部署规模最大的训练芯片——但其特殊之处在于TPU芯片从不对外出售，仅通过Google Cloud的TPU Pod向外部客户提供服务。TPU采用脉动阵列（Systolic Array）架构——一个巨大的二维乘法器阵列（128×128），权重预加载到阵列中后，数据像波浪一样逐行流过阵列完成矩阵乘法。脉动阵列在矩阵乘法的计算密度上极为高效，且因数据流固定，控制逻辑极简，单位面积的算力利用率高于GPU的SIMT架构。TPU v5p的单Pod可扩展到8960颗芯片，是训练Gemini等超大规模Google内部模型的主力。Amazon Trainium2是AWS「去NVIDIA化」战略的核心——专为AWS的训练工作负载定制的ASIC芯片，与AWS的SageMaker平台深度集成。Trainium2的优势在于其与AWS自研网络芯片和Nitro加速卡的系统级协同优化，可以提供比同等规模GPU集群更低的训练总成本。Cerebras的WSE-3（Wafer Scale Engine 3）则走了一条极其激进的路线——直接在整片12寸晶圆上制造一颗超级芯片（4万亿晶体管、90万个计算核心、44GB片上SRAM），单芯片算力达到惊人的125PFLOPS（FP16）。WSE-3的独特价值在于其片上SRAM的带宽（高达20PB/s）可以将整个中等规模模型全部放在片上，消除了传统GPU到HBM的数据搬运瓶颈。但整晶圆芯片的良率、散热和封装

▋AI CHIP ARCHITECTURE

补充判断

AI训练芯片市场呈现NVIDIA一家独大的寡头格局，但AMD的MI300系列、Google的TPU v5系列和Amazon的Trainium 2正从各自生态中发起挑战。本章逐颗拆解主流训练芯片的架构特征——NVIDIA H100/B200的Tensor Core和Transformer Engine、Google TPU的脉动阵列架构和Chiplet扩展、AMD MI300X的CDNA3计算单元和统一内存架构，以及Cerebras WSE-3整晶圆级芯片的颠覆性设计，建立训练芯片的性能评价体系。

本章小结

AI训练芯片市场呈现NVIDIA一家独大的寡头格局，但AMD的MI300系列、Google的TPU v5系列和Amazon的Trainium 2正从各自生态中发起挑战。本章逐颗拆解主流训练芯片的架构特征——NVIDIA H100/B200的Tensor Core和Transformer Engine、Google TPU的脉动阵列架构和Chiplet扩展、AMD MI300X的CDNA3计算单元和统一内存架构，以及Cerebras WSE-3整晶圆级芯片的颠覆性设计，建立训练芯片的性能评价体系。

03

「 推理芯片 」

GPU、ASIC、FPGA：百花齐放的推理芯片战国时代

AI CHIP ARCHITECTURE

•

01

PART

云端推理芯片：效率与成本的终极战场 >>>

云端推理芯片市场的核心竞争维度是每美元吞吐量（Throughput per Dollar）——一个推理服务商需要以最低的硬件成本和功耗，服务最大量的并发用户请求。NVIDIA L40S是GPU在推理市场的代表——L40S基于Ada Lovelace架构（与RTX 6000同源），FP8算力约360 TFLOPS，功耗仅350W（约为H100的一半），单卡价格约1-1.5万美元（约为H100的1/3-1/4）。对于中小规模的Llama/Mistral模型推理，两张L40S在成本上优于一张H100——这是NVIDIA自身推理产品的内部替代逻辑。但NVIDIA更大的推理布局在GB200 NVL（Grace Blackwell）——将Grace CPU与2颗B200 GPU通过NVLink-C2C集成在同一基Groq LPU（Language Processing Unit）是推理芯片中最具颠覆性的架构创新。一颗LPU芯片集成了230MB的超大规模片上SRAM（约为H100 L2 Cache的4-5倍），数千个简化的RISC-V计算核心，以及一个确定性的「软件定义网络」用于芯片间互联。Groq的极致理念是消除外部存储（不依赖HBM），将整个模型的所有参数和KV Cache全部塞进片上SRAM——当所有数据都在片上时，数据搬运延迟为零，推理速度可以达到惊人的每秒数百tokens。Groq LPU在Llama 2-70B上的首次公开演示以接近500 tokens/s的速度生成回答（普通GPU约30-50 tokens/s），震惊业界。但Groq的短板同样明显——每张LPU芯片的230MB SRAM容量注定了它

02

PART

端侧推理与NPU：AI从云端走向手机和汽车 >>>

端侧推理（Edge/On-device Inference）是AI芯片增长最快的市场——将AI模型直接运行在手机、PC、汽车和IoT设备上，无需通过网络上传数据到云端。端侧推理的核心约束与云端截然不同：功耗必须控制在毫瓦至几瓦量级（因为电池供电），延迟必须在毫秒内（因为是实时的交互体验），且模型必须量化和压缩到设备DRAM能够容纳的尺寸。NPU（神经网络处理单元）是为端侧推理专门设计的低功耗AI加速器——高通的Hexagon NPU（骁龙8 Elite）支持INT4精度，AI算力达45TOPS，功耗仅1-2W；苹果的Neural Engine（A18 Pro）提供35TOPS算力，与Core ML深度融合，可直接在iPhone上运行参数压缩后的7B-13B模型。端侧推理市场正在从手机向PC和汽车迅速扩展。英特尔的Meteor Lake首次在CPU中集成NPU（Intel AI Boost），支持Windows Copilot的本地推理。AMD的Ryzen 8040系列同样集成Ryzen AI NPU，算力16TOPS。汽车端侧推理最为特殊——地平线的征程6芯片需要在毫秒级延迟内处理来自多路摄像头的视频流，运行目标检测、车道线识别和轨迹预测等多个AI模型，对实时性和功能安全有车载级（ASIL-D）的严苛要求。端侧推理芯片的最大驱动力是隐私和延迟——用户越来越不愿意将个人数据上传到云端AI服务器，而本地推理的响应速度远优于无线网络传输的云端方案。随着模型量化技术和小模型蒸馏的发展，端侧推理芯片将是AI芯片市场未来五年增速最快、市场空间最广的细分方向。

AI CHIP ARCHITECTURE

•

03

PART

补充判断 >>>

与训练芯片的高度集中不同，AI推理芯片市场正在走向百花齐放——NVIDIA L40S/GB200通过精度降级进入推理，Groq LPU以超大规模SRAM挑战HBM范式，AWS Inferentia以每美元吞吐量最大化重塑TCO，高通和苹果在端侧推理上通过NPU将AI推至移动设备，国内的寒武纪、地平线和华为昇腾在云端和边缘推理上构建国产替代。本章从云端推理和边缘推理两条主线出发，梳理各类推理芯片的架构差异和竞争位势。

04

PART

本章小结 >>>

与训练芯片的高度集中不同，AI推理芯片市场正在走向百花齐放——NVIDIA L40S/GB200通过精度降级进入推理，Groq LPU以超大规模SRAM挑战HBM范式，AWS Inferentia以每美元吞吐量最大化重塑TCO，高通和苹果在端侧推理上通过NPU将AI推至移动设备，国内的寒武纪、地平线和华为昇腾在云端和边缘推理上构建国产替代。本章从云端推理和边缘推理两条主线出发，梳理各类推理芯片的架构差异和竞争位势。

04

「 架构对比 」

计算单元、存储层次与互联拓扑的深层差异

▋AI CHIP ARCHITECTURE

计算单元：从Tensor Core到脉动阵列的硬件实现

训练芯片和推理芯片的计算单元虽然本质上都在做矩阵乘加（MAC），但硬件实现方式差异巨大。NVIDIA Tensor Core是训练计算的标杆——每个Tensor Core可以在一个时钟周期内完成一个4×4×4的FP16矩阵乘加（D=A×B+C），H100集成了576个Tensor Core，峰值FP16算力990TFLOPS。Tensor Core的设计精髓在于「混合精度」——乘法和加法可以在不同的精度下进行（FP16乘+FP32加），既保证了计算吞吐量又保证了数值精度。推理芯片的计算单元不需要如此复杂——一个INT8乘法器的晶体管数量约为FP16的1/8，这意味着在同等面积和功耗下，推理芯片可以放置8倍数量的乘法器，实现更高的计算密度。脉动阵列是Google TPU和许多ASIC推理芯片的首选架构。一个128×128的脉动阵列由16384个乘法累加器（MAC）组成，数据从上方和左侧流入阵列，在每个MAC中相乘后累加到局部寄存器的结果中，然后结果向右和向下传递。脉动阵列的美妙之处在于控制逻辑极度简化——没有复杂的指令解码、寄存器重命名或分支预测，所有的MAC单元按照固定的节拍执行同一操作。这种架构牺牲了灵活性（不适合稀疏矩阵和无规律的张量操作），但在密集矩阵乘法的场景中可以实现接近理论峰值的算力利用率（>80%），远优于GPU在推理时的实际利用率（通常30-50%）。

存储与互联：训练芯片和推理芯片的核心分水岭

训练和推理芯片在存储架构上的差异是整个技术栈最核心的分水岭。训练芯片需要巨大的高带宽内存来存储模型参数、优化器状态、梯度、激活值和KV Cache——一个万亿参数模型的AdamW优化器状态（一阶矩+二阶矩）就需要额外的2倍参数量存储。H100的80GB HBM3在训练70B模型时只能存储模型本身和一批次的激活值，梯度必须分片处理——这就是为什么训练大模型必须依赖多卡。推理芯片的内存需求相对简单——只需要存储模型参数（权重）和KV Cache，不需要存储梯度、优化器状态和暂存大批次激活值。一个Llama 2-70B的INT4量化版本仅需约35GB显存即可运行推理，远远小于H100的80GB容量。这为推理芯片采用SRAM优先或DDR替代HBM方案提供了可能性。互联拓扑是另一个根本差异。训练中数千张GPU需要频繁地通过All-Reduce操作同步梯度——这一操作要求每一张GPU将本地计算的梯度广播给所有其他GPU，通信量与GPU数量成正比。NVLink的900GB/s全互联带宽是训练集群的绝对必需品——没有它，单次All-Reduce的延迟将消耗GPU有效计算时间的大部分。推理不需要多卡之间的频繁同步——每个推理请求完全可以由单卡独立完成，多卡之间仅需要简单的负载均衡数据流（一个请求分配到一个卡），PCIe 64GB/s甚至以太网就足够。这种「无需高速互联」的特性是推理芯片生态比训练芯片更开放、更多元化的结构性原因——任何具备足够算力和内存的芯片都可以参与推理市场竞争，不需要兼容NVIDIA的封闭互联生态。

▋AI CHIP ARCHITECTURE

补充判断

训练芯片和推理芯片在底层硬件架构上的差异可以分解为三个维度：计算单元的设计（Tensor Core vs 脉动阵列 vs NPU MAC阵列）、存储层次的深度（HBM三层 vs 大容量SRAM vs 统一内存）、以及多卡互联拓扑（NVLink全互联 vs PCIe点对点 vs 无互联需求）。本章从这三个维度逐一对比训练和推理芯片的架构选择逻辑，并用一张评价矩阵表达NVIDIA H100/B200、AMD MI300X、Google TPUv5、Groq LPU和AWS Inferentia2五颗代表性芯片在这三个维度上的定位差异。

本章小结

训练芯片和推理芯片在底层硬件架构上的差异可以分解为三个维度：计算单元的设计（Tensor Core vs 脉动阵列 vs NPU MAC阵列）、存储层次的深度（HBM三层 vs 大容量SRAM vs 统一内存）、以及多卡互联拓扑（NVLink全互联 vs PCIe点对点 vs 无互联需求）。本章从这三个维度逐一对比训练和推理芯片的架构选择逻辑，并用一张评价矩阵表达NVIDIA H100/B200、AMD MI300X、Google TPUv5、Groq LPU和AWS Inferentia2五颗代表性芯片在这三个维度上的定位差异。

05

「 市场格局 」

训练芯片寡头垄断 vs 推理芯片群雄逐鹿

AI CHIP ARCHITECTURE

•

01

PART

训练芯片市场的寡头逻辑：为什么GPU一统天下 >>>

AI训练芯片市场的寡头垄断并非自然竞争的结果，而是软件生态锁定效应的体现。NVIDIA CUDA自2006年发布以来，已经积累了超过400万注册开发者、数百万个代码仓库和几乎所有AI框架的深度优化。任何一个想要挑战NVIDIA的训练芯片厂商，不仅需要造出一颗算力相当的芯片，还需要说服全世界的数据科学家放弃他们熟悉的CUDA代码，学习一套全新的编程模型。AMD的ROCm虽然与CUDA在API层面有一定兼容性（通过HIP转换工具自动翻译CUDA代码），但底层驱动、调试工具、性能分析器和网络通信库的成熟度差距仍然巨大。Google的TPU通过完全不兼容CUDA、直接从JAX和TensorFlow框架层面建立自己的生态，但这一策略注定了TPU只能在Google内部和GCP用户中推广，无法切入NVIDIA占主导训练市场的寡头格局短期很难被打破，但中长期存在两个变量。第一是云服务商（AWS/Microsoft）的「去NVIDIA化」战略——通过自研芯片（Trainium/Maia）为其云上的AI训练客户提供更便宜的替代方案（每TOPS成本降低30-50%），当这些自研芯片达到一定的软件成熟度后，可能会从云服务商的自有工作负载开始逐步蚕食NVIDIA份额。第二是NVIDIA自身的定价策略——随着HBM和CoWoS成本的持续上升，NVIDIA GPU的ASP（平均售价）屡创新高，留给替代方案的价格空间越来越大。如果一颗NVIDIA B200的售价达到4万美元，而一颗AMD MI400或Intel Falcon Shores能提供80%的性能但仅需2万美元，价格敏感的小型训练集群客户可能被迫尝试替代方案以控制成本。

02

PART

推理芯片市场的群雄逐鹿：为什么推理是更公平的战场 >>>

推理芯片市场的多元竞争格局根源于推理任务本身的特性——推理对生态锁定的依赖远低于训练，因为推理的软件栈相对简化：模型训练完成后（通常使用CUDA），推理部署只需将模型参数加载到推理引擎中执行前向传播。这一过程可以通过ONNX（开放神经网络交换格式）和OpenXLA等标准化中间表示实现跨硬件迁移，而不需要像训练那样深度依赖CUDA的全部编程能力。这意味着推理芯片厂商不需要构建完整的训练生态——只需要提供一个高效执行标准模型格式的推理引擎，就可以参与到市场竞争中。这也是为什么Groq LPU、AWS Inferentia和寒武纪思元等专用推理芯片能够在特定模型上超越NVIDIA GPU的性价比。推理市场的另一个结构性优势是「碎片化红利」——推理场景极其多样（云端大模型推理、中小模型API服务、手机端个人AI助手、汽车自动驾驶、工业视觉检测），每种场景对芯片的延迟、功耗、成本和尺寸要求完全不同，没有任何一种芯片能够在所有维度上都最优。NVIDIA GPU在云端大模型推理上仍具优势（因其统一内存和TensorRT软件栈），但Groq LPU在超低延迟场景更优，AWS Inferentia在每美元吞吐量上更优，高通NPU在手机功耗约束下最优。这种「场景碎片化」意味着推理芯片市场不会出现NVIDIA在训练市场上的一家通吃格局，投资标的也更多元、更具差异化弹性。

AI CHIP ARCHITECTURE

•

03

PART

补充判断 >>>

AI芯片市场正在呈现「训练集中、推理分散」的结构性分化。训练市场被NVIDIA（含其CUDA生态）占据超过90%的份额，AMD、Google TPU和华为昇腾虽在各自封闭生态中发起挑战但开放市场占有率极低。推理市场的竞争则极度分散——NVIDIA虽仍占主导但有ASIC（Groq/AWS）、FPGA和端侧NPU（高通/苹果）从多维度蚕食。本章量化对比训练和推理两个市场的规模和增速差异，分析推理市场为何比训练市场更具投资多样性。

04

PART

本章小结 >>>

AI芯片市场正在呈现「训练集中、推理分散」的结构性分化。训练市场被NVIDIA（含其CUDA生态）占据超过90%的份额，AMD、Google TPU和华为昇腾虽在各自封闭生态中发起挑战但开放市场占有率极低。推理市场的竞争则极度分散——NVIDIA虽仍占主导但有ASIC（Groq/AWS）、FPGA和端侧NPU（高通/苹果）从多维度蚕食。本章量化对比训练和推理两个市场的规模和增速差异，分析推理市场为何比训练市场更具投资多样性。

06

「 趋势与展望 」

从分离到融合：训练推理一体化的未来方向

▋AI CHIP ARCHITECTURE

大模型推理正在「训练化」：为什么HBM不再是训练的专属需求

一个反直觉的趋势正在发生：大模型推理对存储带宽的需求正在向训练逼近。传统观念认为推理用低精度（INT8/INT4）、训练用高精度（FP16/BF16），推理的显存需求应远低于训练。但对于万亿参数的Mixture-of-Experts（MoE）模型——如GPT-4和Gemini采用的架构——推理时需要将全量专家权重（总参数量可能达数万亿）全部加载到显存中，仅KV Cache的存储需求就高达数百GB。即使使用INT4量化，一个万亿参数的MoE模型仍需要超过500GB的显存才能运行单次推理——这一数字已经超过了单张H100的80GB容量，甚至逼近B200的288GB。这意味着超大模型的推理已经退化为了类似训练的多卡分布式执行问题——需要将模型切分到多张GPU上，通过高速互联同步推理结果。NVIDIA GB200 NVL正是为这一趋势设计的——Grace CPU与B200 GPU通过NVLink-C2C共享超过1TB的统一内存，单节点即可运行数千亿参数模型的推理而无需跨卡分片。当推理退化为训练级的显存需求时，训练和推理芯片之间的硬件差异正在缩小——都需要大容量HBM，都需要高速互联。这一趋势对专用推理芯片（如Groq LPU和Inferentia）构成了挑战——如果推理对显存的需求随MoE模型普及而指数增长，片上SRAM的优势将被容量限制所抵消。从2025年起，AI芯片产业可能走向「以训代推」的新范式——即用训练级的硬件做推理，而非为推理专门设计低规格芯片。

Chiplet和可重构：训练推理融合的技术基础

Chiplet技术是训推一体化最重要的硬件使能者。传统SoC将训练所需的Tensor Core、推理所需的INT8 MAC阵列和视频编解码等所有功能模块集成在一块大芯片上，但芯片面积受掩模版极限（约858mm²）限制。Chiplet将大芯片拆分为多颗小芯片（芯粒），通过先进封装（CoWoS/EMIB）和通用接口（UCIe）互联——一颗训练用芯粒搭载FP16 Tensor Core和HBM控制器，一颗推理用芯粒搭载INT8 MAC阵列和大容量SRAM，一颗IO芯粒负责对外通信。Intel的Falcon Shores和AMD的MI400系列都在采用Chiplet路线，允许用户根据训练和推理的工作负载配比灵活组合芯粒数量和类型。可重构计算（Reconfigurable Computing）是更远期的训推融合方向。FPGA可以通过重新编程逻辑单元来同时支持训练和推理——但FPGA的性价比在AI领域已被ASIC和GPU全面超越。CGRA（粗粒度可重构阵列）和存内计算（PIM，Processing-in-Memory）提供了新的折中方案——在HBM的DRAM堆叠中嵌入简单的计算单元，训练时做梯度累积，推理时做矩阵乘法，存算一体消除数据搬运瓶颈。光计算（Photonic Computing）则是训推融合的最前沿——利用光子干涉和衍射实现矩阵乘法的全光处理，无论是训练的前向传播还是推理的单次前向，本质上都是同一种光矩阵计算，只是精度要求不同。光子AI芯片（如Lightmatter、曦智科技）预计在2027-2028年进入早期商用，如果

▋AI CHIP ARCHITECTURE

补充判断

虽然训练和推理芯片在当前泾渭分明，但技术演进的趋势正在模糊两者的边界。NVIDIA GB200 NVL通过统一内存架构让同一芯片同时高效执行训练和推理，Google的TPU通过脉动阵列+Chiplet在训练和推理上都展现了竞争力，大模型时代推理对显存带宽的需求催生了与训练类似的HBM饥渴。本章拆解训练推理一体化的三个技术方向——统一芯片架构、Chiplet灵活组合和可重构计算，并展望这一趋势对AI芯片产业格局的深远影响。

本章小结

虽然训练和推理芯片在当前泾渭分明，但技术演进的趋势正在模糊两者的边界。NVIDIA GB200 NVL通过统一内存架构让同一芯片同时高效执行训练和推理，Google的TPU通过脉动阵列+Chiplet在训练和推理上都展现了竞争力，大模型时代推理对显存带宽的需求催生了与训练类似的HBM饥渴。本章拆解训练推理一体化的三个技术方向——统一芯片架构、Chiplet灵活组合和可重构计算，并展望这一趋势对AI芯片产业格局的深远影响。

07

「 投资逻辑 」

训练确定性vs推理弹性：AI芯片投资的左右手配置

AI CHIP ARCHITECTURE

•

01

PART

四象限配置策略：从确定性到弹性的投资光谱 >>>

AI芯片投资的四象限框架可以按照「确定性」和「弹性」两个维度划分。右上角确定性最高的方向是先进封装和HBM——无论训练还是推理芯片，无论NVIDIA还是AMD还是Groq，都需要CoWoS封装和HBM堆叠，台积电CoWoS和SK海力士HBM是「卖铲人」式的最稳受益者。右下角确定性高、弹性相对有限的是NVIDIA本身——其训练芯片业务的护城河（CUDA+NVLink+CoWoS供应锁定）短期内极难被颠覆，但股价已隐含了极高的增长预期，上行的弹性空间可能不如其他环节。

02

PART

风险变量与动态调整 >>>

AI芯片投资的最大风险是技术路线突变。若NVIDIA的CUDA生态被ONNX和OpenXLA等开放标准突破，推理芯片市场将从硬件竞争扩展到软件生态战争。建议持续跟踪芯片出货量、云商自研芯片部署比例和端侧AI渗透率作为投资节奏判断的核心量化指标。

AI CHIP ARCHITECTURE

•

03

PART

补充判断 >>>

AI芯片投资的核心策略是在「训练的确定性」（NVIDIA及其产业链）和「推理的弹性」（ASIC/端侧NPU/国产替代）之间进行分层配置。本章建立AI芯片投资的四象限框架——训练GPU、推理ASIC、端侧NPU和先进封装基础设施——拆解每个象限的投资逻辑、核心标的和风险敞口，为不同风险偏好的投资者提供差异化的配置建议。

04

PART

本章小结 >>>

AI芯片投资的核心策略是在「训练的确定性」（NVIDIA及其产业链）和「推理的弹性」（ASIC/端侧NPU/国产替代）之间进行分层配置。本章建立AI芯片投资的四象限框架——训练GPU、推理ASIC、端侧NPU和先进封装基础设施——拆解每个象限的投资逻辑、核心标的和风险敞口，为不同风险偏好的投资者提供差异化的配置建议。

⦁⦁⦁

>> AI芯片的核心判断 <<

回到AI芯片，真正值得关注的不是单点替代，而是技术壁垒、客户验证、供应链韧性和规模交付能否形成闭环。AI大模型的生命周期分为两个截然不同的阶段——训练和推理。训练是将海量数据喂给模型、通过反向传播迭代更新数十亿参数的过程，需要的是「蛮力算力」——高精度浮点计算、超大HBM带宽和多卡高速互联。推理是模型部署后对用户请求做出实时响应的过程，需要的是「巧力效率」——低延迟、低功耗、低成本。这两种截然不同的需求正在推动AI芯片产业从GPU一统天下走向训练和推理的分化路线。本文从计算范式、硬件架构、精度格式到市场格局逐层对比，一文讲透这两类芯片的本质差异与投资逻辑。

沿着训练vs推理、训练芯片、推理芯片、架构对比等这几条线索，可以看到产业突破正在从局部能力走向体系化能力。后续判断企业价值时，需要同时看产品验证、客户导入、平台化扩展和现金流承压能力。

AI CHIP ARCHITECTURE

END