LLM蒸馏与微调·第五章：硬件与物料清单

CHAPTER 05 · HARDWARE & MATERIALS

硬件与物料清单

GPU显存对照 · 硬件配置推荐 · 云平台对比 · 成本估算 · 数据标注指南

5.1 GPU显存需求对照表

5.1.1 微调方案

LoRA 7B　16GB ｜ RTX 4090 24GB ｜ batch 1~2 ｜ ~800 tokens/s

QLoRA 7B　6GB ｜ RTX 3060 12GB ｜ batch 1~2 ｜ ~600 tokens/s

QLoRA 14B　10GB ｜ RTX 4090 24GB ｜ batch 1~2 ｜ ~300 tokens/s

QLoRA 72B　48GB ｜ 1×A100 80GB ｜ batch 1 ｜ ~100 tokens/s

全量微调 7B　56GB ｜ 4×A100 80GB ｜ batch 1~2 ｜ ~400 tokens/s

全量微调 14B　112GB ｜ 8×A100 80GB ｜ batch 1~2 ｜ ~200 tokens/s

5.1.2 蒸馏方案

黑盒蒸馏 任意→7B　16GB ｜ RTX 4090 ｜ 只需运行学生模型

白盒蒸馏 7B→0.5B　16GB ｜ RTX 4090 ｜ 教师14GB+学生2GB

白盒蒸馏 72B→7B（4bit教师）　52GB ｜ 2×A100 80GB

渐进式蒸馏 7B→1.5B→0.5B　18GB→5GB ｜ RTX 4090→RTX 3060

关键洞察：蒸馏的显存瓶颈是教师模型。白盒蒸馏72B→7B至少需要2×A100 80GB。如果只有1×RTX 4090，只能做黑盒蒸馏。

5.2 推荐硬件配置

消费级方案（预算 < 2万元）

GPU: 1×RTX 4090 24GB ｜ CPU: i7-13700K / R9 7900X

内存: 64GB DDR5 ｜ 存储: 2TB NVMe SSD ｜ 电源: 1000W

✅ LoRA微调7B / QLoRA微调14B / 黑盒蒸馏任意→7B / 白盒蒸馏7B→0.5B

❌ 白盒蒸馏72B→7B

专业级方案（预算 5~10万元）

GPU: 2×RTX 4090 24GB ｜ CPU: i9-13900K / R9 7950X

内存: 128GB DDR5 ｜ 存储: 4TB NVMe SSD ｜ 电源: 1600W

✅ LoRA微调14B / QLoRA微调32B / 白盒蒸馏14B→1.5B / 渐进式蒸馏72B→7B（第2步起）

❌ 白盒蒸馏72B→7B（仍需更大显存或4bit量化+offload）

企业级方案（云GPU按需使用）

对于大多数团队，云GPU是最务实的选择——按需使用，不用投入硬件成本。

5.3 数据物料清单

公开数据集

Alpaca　52K条 ｜ Alpaca格式 ｜ 通用指令微调

ShareGPT　90K+条 ｜ ShareGPT格式 ｜ 多轮对话微调

UltraChat　1.5M条 ｜ ShareGPT格式 ｜ 大规模通用微调/蒸馏提示

HelpSteer2　10K条 ｜ 偏好数据 ｜ DPO对齐训练

UltraFeedback　64K条 ｜ 偏好数据 ｜ DPO对齐训练

Open-Orca　4.2M条 ｜ Alpaca格式 ｜ 大规模蒸馏数据

合成数据方案

GPT-4 API　10K条约$50~200 ｜ 通用/领域蒸馏

本地72B模型　10K条仅GPU时间 ｜ 通用蒸馏（免费，需GPU）

DeepSeek-R1 API　10K条约$10~50 ｜ 推理能力蒸馏

5.4 国内云GPU平台对比

★AutoDL　A100 80GB 约8~12元/h ｜ 4090 约2~3元/h ｜ 机型全、社区活跃 ｜ 高峰期可能抢不到

恒源云　A100 约8~10元/h ｜ 4090 约2~3元/h ｜ 价格稳定 ｜ 机型选择较少

趋动云　A100 约10~15元/h ｜ 4090 约3~4元/h ｜ 企业级服务 ｜ 价格偏高

阿里云PAI　A100 约15~25元/h ｜ 与阿里生态集成 ｜ 价格最高

以上为2025年中参考范围，实际价格随供需波动，以平台实时报价为准。

5.5 AutoDL实操指南（6步走）

1. 注册充值　访问autodl.com，充值50元即可开始

2. 选择实例　微调7B选RTX 4090（~2.5元/h）；白盒蒸馏72B→7B选2×A100（~20元/h）

3. 环境配置　PyTorch镜像已预装，只需安装LLaMA-Factory + flash-attn

4. 数据传输　scp上传或用AutoDL文件管理器

5. 模型下载　用ModelScope镜像下载，国内速度极快

6. 省钱技巧　凌晨训练更便宜；训练完立即关机；无卡模式调试（0.1元/h）；CPU实例做预处理

5.6 硬件选型决策树

预算 < 500元，快速验证 → AutoDL RTX 4090按小时租 ｜ LoRA微调7B约7元/次

预算 2000~5000元，持续1~2月 → AutoDL A100按天/周 ｜ 白盒蒸馏72B→7B约300元/次

预算 2万以内，长期使用 → 自建1×RTX 4090工作站 ｜ LoRA/QLoRA微调7B、黑盒蒸馏

预算 5万以上，团队使用 → 自建2×RTX 4090或云GPU集群 ｜ 几乎所有7B/14B微调和蒸馏

5.7 数据标注实操指南

标注方式选择

自行标注：0元（时间成本） ｜ 质量高 ｜ 适合 < 500条

众包平台：0.5~2元/条 ｜ 质量中 ｜ 适合 1K~10K条

专业标注公司：3~10元/条 ｜ 质量高 ｜ 适合 > 10K条

★模型辅助标注：0.1~0.5元/条 ｜ 质量中高 ｜ 成本只有纯人工的20%

标注质量控制四步流程

一　写标注规范文档，含10~20条示例，覆盖常见和边缘情况

二　小批量试标注100条，准确率 < 80%则修改规范或换人

三　交叉验证：每条2人独立标注，不一致由第三人裁决

四　随机抽10%质检，不合格率 > 10%则整批返工

标注人员培训要点

先读规范再开工 ｜ output必须事实正确 ｜ 格式统一 ｜ 长度100~500字 ｜ 避免复制粘贴

质量抽检方法

双盲一致性　随机抽20%由2人独立标注，Cohen's Kappa > 0.7为合格

专家抽检　领域专家随机抽10%检查事实准确性，错误率 > 5%则整批返工

格式检查脚本　自动检查字段完整性、长度范围、违禁词

标注成本估算

500条：自行 ~10小时 / 众包 ~500元 / 模型辅助 ~100元

2000条：自行 ~40小时 / 众包 ~2000元 / 模型辅助 ~400元

5000条：自行 ~100小时 / 众包 ~5000元 / 模型辅助 ~1000元

10000条：自行 ~200小时 / 众包 ~10000元 / 模型辅助 ~2000元

5.8 成本估算

全链路成本（法律领域7B模型，第四章案例）

数据准备：人力 ~3000元（5000条标注）

蒸馏：72B生成数据 ~50元 + 7B训练 ~10元

微调：~6元 ｜ 评估：~6元 + 人力 ~500元

合计：云GPU ~72元 + 人力 ~3700元 ｜ 纯算力成本不到100元！

不同方案性价比

直接微调7B：算力~16元 → 法律78% ｜ 性价比中

★黑盒蒸馏+微调：算力~66元 → 法律80% ｜ 性价比最高

白盒蒸馏+微调：算力~300元 → 法律82% ｜ 性价比高

全量微调7B：算力~800元 → 法律79% ｜ 性价比低（过拟合风险）

本章小结

- 显存不够？QLoRA省60%+，黑盒蒸馏不需要同时加载教师

- 硬件不够？云GPU按小时租用，一次7B微调不到10元

- 数据不够？公开数据集+教师合成，成本远低于人工标注

- 标注太贵？模型辅助+人工审核，成本只有纯人工的20%

- 核心结论：算力成本极低（不到100元），真正贵的是数据标注

全书完

预训练建能力，微调适配表达，蒸馏迁移能力。 三者各司其职，灵活组合，才是落地的正确姿势。

PAPER & INK · AI EDITION · CHAPTER 05 · FIN