大模型基石：AI分布式存储工程实战——从GPU直通到万卡集群的存储博弈

训练生命周期                   存储需求特征
─────────────────────────────────────────────────────
   │
   ▼
数据准备阶段         →   大容量、高吞吐写入
（数据清洗/预处理）       持续数天到数周
   │
   ▼
训练阶段             →   高带宽读取（TB/s级）
（模型迭代）             低延迟元数据操作
   │                     高并发（数千GPU同时读）
   ▼
Checkpoint阶段      →   突发大块写入
（模型保存）            极高带宽（网络和存储都要扛住）
   │
   ▼
推理/部署阶段        →   低延迟读取
                      QPS优先

┌─────────────────────────────────────────────────────────────┐
│                       训练集群（GPU节点）                     │
│   ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐  │
│   │ GPU Node │  │ GPU Node │  │ GPU Node │  │ GPU Node │  │
│   │  RoCE/IB │  │  RoCE/IB │  │  RoCE/IB │  │  RoCE/IB │  │
│   └────┬─────┘  └────┬─────┘  └────┬─────┘  └────┬─────┘  │
│        └─────────────┴─────────────┴─────────────┘        │
│                          │ 高速网络（RoCE/InfiniBand）        │
└──────────────────────────┼──────────────────────────────────┘
                           │
                           ▼
┌─────────────────────────────────────────────────────────────┐
│                    Lustre并行文件系统（热层）                  │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐                  │
│  │  MGS/MDT │  │  MGS/MDT │  │  MGS/MDT │  元数据服务器    │
│  └──────────┘  └──────────┘  └──────────┘                  │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐   │
│  │  OSS+OST │  │  OSS+OST │  │  OSS+OST │  │  OSS+OST │   │
│  │  (NVMe)  │  │  (NVMe)  │  │  (NVMe)  │  │  (NVMe)  │   │
│  └──────────┘  └──────────┘  └──────────┘  └──────────┘   │
│                   全闪存NVMe SSD（热数据）                    │
└──────────────────────────┬──────────────────────────────────┘
                           │
                           ▼
┌─────────────────────────────────────────────────────────────┐
│              对象存储（冷层 / S3兼容）                        │
│    ┌───────┐  ┌───────┐  ┌───────┐  ┌───────┐            │
│    │ Ceph  │  │ Ceph  │  │ Ceph  │  │ Ceph  │            │
│    │ RGW   │  │ RGW   │  │ RGW   │  │ RGW   │            │
│    └───────┘  └───────┘  └───────┘  └───────┘            │
│               HDD大容量存储（冷数据/备份）                     │
└─────────────────────────────────────────────────────────────┘

# 所有存储节点（CentOS 7/8或Rocky Linux）
# 1. 配置内核参数
cat >> /etc/sysctl.conf << EOF
net.core.rmem_max = 67108864
net.core.wmem_max = 67108864
net.ipv4.tcp_rmem = 4096 87380 67108864
net.ipv4.tcp_wmem = 4096 65536 67108864
vm.swappiness = 10
EOF
sysctl -p

# 2. 关闭NUMA平衡（提高性能）
echo 0 > /proc/sys/kernel/numa_balancing

# 3. 安装Lustre依赖
yum install -y kernel-devel kernel-headers gcc make perl

# 从官方源或编译安装（推荐使用官方预编译包）
# 注意：Lustre版本必须与内核版本严格匹配

# 添加Lustre仓库
cat > /etc/yum.repos.d/lustre.repo << EOF
[lustre-server]
name=Lustre Server
baseurl=https://downloads.whamcloud.com/public/lustre/latest-release/el8/server/
enabled=1
gpgcheck=0
EOF

yum install -y kmod-lustre lustre lustre-osd-ldiskfs lustre-tests

# 加载内核模块
modprobe lustre

# 在MDS节点上执行
# 使用NVMe SSD设备 /dev/nvme0n1 作为MDT

# 格式化MDT
mkfs.lustre --fsname=ai-fs --mdt --index=0 /dev/nvme0n1

# 创建挂载点并挂载
mkdir -p /mnt/mdt
mount -t lustre /dev/nvme0n1 /mnt/mdt

# 验证
lctl dl  # 应该看到MDT设备

# 在每台OSS节点上执行
# 假设有8块NVMe：/dev/nvme0n1 ~ /dev/nvme7n1

for i in {0..7}; do
    mkfs.lustre --fsname=ai-fs --ost --index=$(($i + 10)) /dev/nvme${i}n1
done

# 创建挂载点并挂载
mkdir -p /mnt/ost
mount -t lustre /dev/nvme0n1 /mnt/ost
# ... 依次挂载所有OST

# 检查集群状态
lctl dl

# 每个GPU节点执行
yum install -y kmod-lustre-client lustre-client

# 挂载Lustre文件系统
mkdir -p /mnt/ai-fs
mount -t lustre mds01@tcp0:/ai-fs /mnt/ai-fs

# 设置挂载选项（性能优化）
# 在/etc/fstab中添加：
mds01@tcp0:/ai-fs /mnt/ai-fs lustre defaults,_netdev,flock,user_xattr 0 0

# 客户端调优（在GPU节点执行）
# 1. 增大读写缓冲区
echo 16777216 > /proc/sys/fs/lustre/read_ahead_kb  # 16MB预读

# 2. 设置OST条带数（关键！）
lfs setstripe -c 4 /mnt/ai-fs/train_data
# -c 4 表示将文件条带化到4个OST，提升并行读性能
# 对于大文件（>10GB），推荐条带数=OST数量的1/2到2/3

# 3. 批量设置目录默认条带
lfs setstripe -c 4 /mnt/ai-fs/train_data/

# 1. 对新数据设置正确的条带数
lfs setstripe -c 8 /mnt/ai-fs/train_data_new/

# 2. 迁移历史数据（用lfs migrate）
lfs migrate -c 8 /mnt/ai-fs/train_data_old/*

# 3. 验证
lfs getstripe /mnt/ai-fs/train_data_old/sample.bin

# 添加第二个MDT
mkfs.lustre --fsname=ai-fs --mdt --index=1 /dev/nvme1n1
mount -t lustre /dev/nvme1n1 /mnt/mdt1

# 将特定目录迁移到新MDT
lfs migrate -m 1 /mnt/ai-fs/train_data/

# WebDataset：将多个样本打包成tar文件（每个tar包含100-10000个样本）
import webdataset as wds

# 写入
sink = wds.TarWriter("dataset-000001.tar")
for idx, sample in enumerate(dataset):
    sink.write({
        "__key__": f"sample_{idx}",
        "jpg": sample["image"],      # 图片
        "cls": sample["label"]       # 标签
    })
sink.close()

# 读取（训练时直接流式读取tar文件，而非打开千万个小文件）
dataset = wds.WebDataset("dataset-*.tar") \
    .decode() \
    .to_tuple("jpg", "cls")

# 异步Checkpoint（使用Python线程或异步IO）
import threading
import torch

def async_save_checkpoint(model, path):
    # 先在内存中保存模型状态
    state_dict = model.state_dict()
    # 在后台线程中写入
    thread = threading.Thread(target=torch.save, args=(state_dict, path))
    thread.start()
    return thread  # 训练可以继续，无需等待

GPU节点本地NVMe（写延迟<1ms）
        │ 异步后台同步
        ▼
Lustre并行文件系统（写延迟~10ms）
        │ 异步后台归档
        ▼
对象存储（写延迟~100ms，但容量巨大）

# Lustre + GDS 配置
# 需要：Lustre 2.14+ + NVIDIA GPU + 支持GDS的网卡（Mellanox ConnectX-6+）
# 在挂载时启用GDS：
mount -t lustre -o gds /dev/nvme0n1 /mnt/ai-fs

# docker-compose.yml
version: '3'
services:
  prometheus:
    image: prom/prometheus
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
    ports:
      - "9090:9090"

  grafana:
    image: grafana/grafana
    ports:
      - "3000:3000"
    volumes:
      - ./grafana-dashboards:/etc/grafana/provisioning/dashboards

  lustre-exporter:
    image: huichoi/lustre_exporter
    volumes:
      - /proc:/proc:ro
      - /sys/fs/lustre:/sys/fs/lustre:ro
    ports:
      - "9501:9501"

# 配置HSM策略
# 1. 定义策略：文件超过30天未访问 → 迁移到对象存储
lfs hsm_set --archive 1 /mnt/ai-fs/old_data/*

# 2. 用户访问时，Lustre自动从对象存储回迁（透明）
# 首次访问会有延迟，后续自动缓存到热层

# 启用Lustre压缩（Lustre 2.14+）
lfs setstripe --compression=lz4 /mnt/ai-fs/train_data/

# 使用Corosync + Pacemaker实现MDS/OSS自动Failover

# 1. 配置主备MDS（Active/Passive）
# 两台MDS共享同一个MDT存储（通过SAN或DRBD）

# 2. 使用虚拟IP
# MDS主节点拥有VIP，备节点监控主节点状态
# 主节点宕机 → 备节点接管VIP + 挂载MDT

# 3. OST的Failover
# 每个OSS配置一台备机，共享存储（或使用远程复制）

# 备份MDT元数据（每天）
e2image -r /dev/nvme0n1 /backup/mdt.img

# 备份MDT配置（每次变更后）
lctl get_param -n mdd.*.root > /backup/mdt_root.txt

# 对象存储中的数据不备份（EC纠删码提供冗余）
# 但会定期做快照（每天一次，保留7天）