美团开源LongCat-2.0万亿参数大模型

IT时代网7月6日消息，美团日前正式开源万亿参数大模型LongCat-2.0，同步开放国产算力芯片推理代码。LongCat-2.0总参数1.6T，平均激活约48B，专为Agentic Coding任务打造，架构上创新性引入LongCat稀疏注意力和N-gram Embedding，提升长上下文处理效率与token级表示能力的同时，结合动态激活进一步强化了代码理解、生成与执行表现。

作为业界首个在五万卡国产算力集群上完成推理的万亿参数模型，LongCat-2.0针对显存与带宽受限的国产算力芯片，从模型架构、芯片适配到部署策略三个方向进行了深度协同优化。模型层面，Attention通过absorb计算模式、Indexer与MLA prolog并行处理以及KVP切分KV-cache，有效缓解超长上下文的I/O与显存压力；ScMoE利用国产芯片控核能力，让Dense与MoE分支实现物理核心级并行执行，压缩端到端延迟，实现百万上下文在国产芯片上的高效推理。芯片适配层面，通过Super Kernel减少算子数量降低启动开销，以Weight Prefetch将I/O延迟隐藏在前序计算中，并基于高速片间互联完成layer-wise的KV-cache传输。部署策略层面，采用PD分离部署兼顾TTFT与TPOT，配合异步化Expert-Parallel Load Balancing解决大EP度下的负载不均。

LongCat-2.0沿用了LongCat-Flash的整体设计，并围绕长上下文、代码任务和智能体场景做了三项关键优化：引入LongCat稀疏注意力机制（LSA），通过流感知索引、跨层索引和层级化索引三项策略减少碎片化访存和重复索引计算；在MoE专家之外引入N-gram Embedding作为新的参数扩展路径，在MoE稀疏度已接近97%的情况下，将135B参数投入N-gram Embedding的收益远超继续扩充专家；后训练阶段采用多教师在线蒸馏，将专家分为Agent、推理和交互三类，分别聚焦自主执行、自适应推理和安全对齐等核心能力，最终通过MOPD架构在国产算力集群上无缝融合。

本次开源同步提供BF16、FP8及INT8等多精度版本，全面覆盖不同算力平台的部署需求，并深度开源针对国产算力极致优化的推理成果，让存量国产卡也能流畅部署万亿大模型推理服务。

创作声明：本文借助AI辅助创作