大模型微调开源框架推荐

1. LLaMA-Factory

• 「GitHub」: https://github.com/hiyouga/LLaMA-Factory
• 「特点」:
  • 支持 100+ 种 LLM 的微调（LLaMA、Mistral、Qwen、ChatGLM 等）
  • 提供 WebUI 界面，零代码微调
  • 支持 LoRA、QLoRA、全参数微调等多种方法
  • 内置数据集处理和评估功能

2. PEFT (Parameter-Efficient Fine-Tuning)

• 「GitHub」: https://github.com/huggingface/peft
• 「特点」:
  • Hugging Face 官方出品
  • 支持 LoRA、Prefix Tuning、P-Tuning、Adapter 等方法
  • 与 Transformers 库深度集成
  • 显存占用低，适合消费级显卡

3. Axolotl

• 「GitHub」: https://github.com/OpenAccess-AI-Collective/axolotl
• 「特点」:
  • 配置驱动，通过 YAML 文件定义训练流程
  • 支持多种模型和微调方法
  • 内置 DeepSpeed、FSDP 分布式训练支持

4. Unsloth

• 「GitHub」: https://github.com/unslothai/unsloth
• 「特点」:
  • 训练速度提升 2-5 倍，显存减少 80%
  • 支持 LLaMA、Mistral、Gemma 等模型
  • 对 QLoRA 优化极佳

5. DeepSpeed

• 「GitHub」: https://github.com/microsoft/DeepSpeed
• 「特点」:
  • 微软出品，专注大规模分布式训练
  • ZeRO 优化器大幅降低显存需求
  • 适合超大模型训练

6. Swift (ModelScope)

• 「GitHub」: https://github.com/modelscope/swift
• 「特点」:
  • 阿里达摩院出品
  • 对国产模型（Qwen、ChatGLM）支持好
  • 提供完整的训练、推理、部署流程

快速选择建议