6月30日,美团正式发布新一代基础大模型LongCat-2.0。这是国内首个依靠国产算力完成训练、推理全流程的万亿参数大模型。
据悉,LongCat-2.0采用MoE(混合专家模型)架构,总参数规模1.6万亿,每个Token激活参数约480亿,原生支持1M超长上下文,可一次处理百万字级输入。
值得一提的是,LongCat-2.0全程在国产算力上完成训练,峰值规模超过5万张国产算力卡,是迄今为止国产算力上完成的最大训练任务。
同时,由于算力优化、技术突破等综合因素,LongCat-2.0的训练、推理成本消耗,低于全球其他万亿参数级别的大模型。
LongCat官方宣布,将于近期在多平台同步开源Infra框架、推理引擎、模型参数等核心技术,回馈全球开发者社区。
来源:科技日报
作者: 崔爽