腾讯云 GooseFS：面向大模型的高性能数据湖存储基础设施概要

一、 产品定位与核心亮点

GooseFS 是腾讯云推出的统一数据湖存储服务，定位为大模型时代的高性能存储基础设施。其核心技术属性为分布式缓存系统，核心商业差异化卖点在于打通数据从存到用的“最后一公里”，通过计算端加速和服务端加速，在对象存储（COS）之上提供大带宽、低延迟、高OPS的数据访问能力。

二、 产品应用场景

GooseFS 主要服务于面临海量数据处理挑战的企业客户，具体应用场景如下：

• 大模型训练场景：客户在模型训练时需处理数十PB级别的原始数据集，面临从海量数据中快速提取有效信息、减少计算消耗的痛点。同时，GPU节点的大量本地NVMe SSD盘闲置，导致资源利用率低。
• 企业统一数据管理场景：企业数据生产、存储和消费模式复杂。数据显示，52% 的企业使用超过 11种数据源，并面临数据源多样、数据模式变化快、数据质量不可靠等痛点（来源：Fivetran data analyst survey, 2020）。数据湖存储天然适用于需要统一存储和调度海量企业数据的场景。

三、 应用框架和功能介绍

功能框架

GooseFS 架构包含计算端加速和服务端加速。计算节点（运行TensorFlow、PyTorch等框架）通过GooseFS访问底层的对象存储（COS）。GooseFS服务端核心组件包括分布式缓存和高性能元数据引擎。

硬核指标

• 元数据规模：可平行扩展至百亿级。
• 元数据性能：IOPS可达百万级。
• 存储规模：依托腾讯云对象存储，具备EB级扩展能力（单集群可扩展至百EB规模）。
• 数据可靠性：底层对象存储数据持久性最高可达12个9，服务可用性最高可达99.995%。

产品优势

1. 高性能元数据引擎：
   • 元数据规模平行扩展：通过元数据Hash存储和分层压缩技术，解决海量小文件元数据的单盘容量和单集群规模瓶颈。
   • 元数据性能平行扩展：通过Master备机读扩展和流量均衡，提升并发读取能力，优化读时延长尾现象。
2. 数据亲和性调度：
   • 利用数据本地性，将热点数据缓存至GPU服务器本地，大幅减少I/O距离和访问延迟。
   • 支持多种数据缓存淘汰策略。
3. 多协议与生态集成：
   • 提供 HDFS、POSIX 等多协议支持。
   • 支持 CSI、LocalPath 等多种挂载方式。
   • 支持对接 TKE、EMR、THPC 等腾讯云计算框架。
   • 提供统一命名空间，支持对接 COS、本地HDFS 等存储系统。
   • 打通腾讯云日志、监控、鉴权等服务。
4. 云原生管控能力：
   • 提供多种托管部署模式，支持通过腾讯云API快速创建集群，支持按需付费。
   • 对业务集群无侵入，支持用户通过客户端进行文件操作，可通过云监控、CLS等渠道获取集群指标，提升运维效率。

荣誉背书

（原文未提供具体的技术荣誉和奖项信息）

四、 典型案例

案例：某客户大模型集群

1. 背景：
   • 客户业务诉求：处理数十PB级别的原始数据集，需快速提取有效信息并减少计算消耗。
   • 技术瓶颈：GPU节点存在大量本地NVMe SSD盘未利用，资源利用率低。
2. 解决方案：
   • 将GooseFS Worker节点部署在GPU节点上，利用本地NVMe SSD盘作为缓存介质，充分利用闲置资源。
   • GooseFS Master节点通过Raft协议部署3节点，保证高可用。
   • 该方案利用本地NVMe SSD盘的大吞吐、低延迟特性，避免了跨机架数据传输。
3. 成效：
   • 作业性能获得数倍提升。
   • 有效压缩了GPU读取数据的时间。

来源说明：本概要内容均整理自腾讯云高级产品经理林楠在2024腾讯全球数字生态大会上的演讲材料。