- 综合排序
- 最热优先
- 最新优先
- 来自专栏DeepHub IMBA
使用QLoRa微调Llama 2
上篇文章我们介绍了Llama 2的量化和部署，本篇文章将介绍使用PEFT库和QLoRa方法对Llama 27b预训练模型进行微调。我们将使用自定义数据集来构建情感分析模型。 PEFT支持QLoRa方法，通过4位量化对LLM参数的一小部分进行微调。 Transformer Reinforcement Learning (TRL)是一个使用强化学习来训练语言模型的库。 本文作者:UD 原文地址： https://ukey.co/blog/finetune-llama-2-peft-qlora-huggingface/
91010编辑于 2023-08-30 - 来自专栏AI SPPECH
LLM微调技术：从LoRA到QLoRA的演进
LoRA生态不断丰富：LoRA技术作为参数高效微调的代表，其生态系统不断丰富，出现了许多衍生技术和工具，如QLoRA、AdaLoRA、LoRA++等。 量化微调技术成熟：量化微调技术，如QLoRA，能够在量化的预训练模型上直接进行微调，进一步降低了微调的计算和存储需求。 3.3.1.2 QLoRA QLoRA（Quantized LoRA）是LoRA的量化版本，能够在量化的预训练模型上直接进行微调，进一步降低了微调的计算和存储需求。 QLoRA的核心思想是将预训练模型量化为4位精度，然后在量化模型上应用LoRA微调。 GitHub上的最新项目如bitsandbytes/qlora实现了QLoRA技术，能够在单个GPU上微调70B参数的模型，大大降低了微调的门槛。
87420编辑于 2026-01-01 - 来自专栏AI学习笔记
大模型微调新范式：QLoRA+MoE混合训练
QLoRA+MoE混合训练方法结合思路与架构设计将QLoRA与MoE相结合，形成了独特的混合训练架构。 充分利用了QLoRA的参数效率优势和MoE的计算资源分配优势。 反向传播更新专家网络的QLoRA矩阵和门控网络参数d. _create_qlora_expert(qLora_config) for _ in range(moe_config.num_experts) ]) # (self, qLora_config: QLoRAConfig): """创建单个专家网络并应用QLoRA""" lora_modules = nn.ModuleDict(
1.1K10编辑于 2025-07-21 - 来自专栏自然语言处理
【LLM训练系列04】手把手教你Qlora微调
passive', log_level_replica='warning', log_on_each_node=True, logging_dir='output/qwen2.5-0.5b-belle-qlora QLoRA 是什么 QLoRA 是一种高效的模型微调方法，特别适合在资源有限的情况下对大型语言模型（LLM）进行微调。 QLoRA 的两个核心技术 量化（Quantization）： 量化是一种将模型参数从高精度（比如 32 位浮点数）压缩到低精度（比如 4 位或 8 位整数）的技术。 QLoRA 的优势如下： 节省内存： 通过量化，模型的内存占用大幅减少，使得在资源有限的硬件上也能运行大型模型。 保持性能： QLoRA 通过量化和 LoRA 的结合，能够在节省资源的同时，保持模型的性能，甚至在一些任务上表现更好。
61410编辑于 2024-12-21 InternLM2-7B-chat Xtuner Qlora 微调
InternLM2-7B-chat Xtuner Qlora 微调 Xtuner介绍 XTuner是上海人工智能实验室开发的低成本大模型训练工具箱，XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库 支持 QLoRA、LoRA、全量参数微调等多种微调算法，支撑用户根据具体需求作出最优选择。 全能 支持增量预训练、指令微调与 Agent 微调。 _e3_career_coach/目录下 模型转换成HF # 新建模型存放的文件夹 mkdir -p /root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_ _e3_career_coach.py /root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/iter_51.pth/ /root /work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/hf 合并HF adapter 到LLM mkdir -p /root/autodl-tmp
58910编辑于 2025-07-17- 来自专栏自然语言处理
【LLM训练系列01】Qlora如何加载、训练、合并大模型
示例1：Qlora训练Qwen2.5 参考脚本：https://github.com/QwenLM/Qwen/blob/main/recipes/finetune/deepspeed/finetune_qlora_multi_gpu.ipynb 以下是实现权重合并的示例代码： 示例2：Qlora微调Llama fine-tuning-llama-2-using-lora-and-qlora-a-comprehensive-guide 选择模型 #load dataset dataset = load_dataset(dataset_name,split = "train") #load tokenizer and model with QLoRA tokenizer.padding_side = "right" 总结 模型为量化模型 训练：需要prepare_model_for_kbit_training(model) 合并：加载基础模型进行合并qlora 推理：加载base模型然后加载qlora权重也可以加载合并之后的 模型为基础模型 训练：加载需要使用bnb对基础模型量化 合并：加载基础模型进行合并qlora 推理：加载base模型然后加载qlora
88710编辑于 2024-11-23 - 来自专栏面经
【大模型后训练专题】 QLoRA微调原理及实战项目
前言前面QLoRA主要在讲“怎么在全精度模型上优雅地加一个低秩增量 ΔW”。 这两个问题分别对应了的两条主线：QLoRA：在 LoRA 之外，把 base 模型本身做 4bit 量化，真正做到“显存抠到极致，还不怎么掉点”；✍ 论文地址：https://arxiv.org/abs 一、 QLoRA最简单的理解就是：在量化模型的基础上进行LoRA微调，听上去似乎就不是什么高大上的技术进步，事实就是如此：QLoRA = 4bit 量化基座 + 全精度 LoRA 适配器。 1.1 QLoRA 和普通 LoRA 的本质区别是什么？ 所以，在“权重真正密集的地方”，NF4 给了更多精度，这就是为什么在 4bit 这么粗的比特下，QLoRA 还能保证精度比较好。
1.2K31编辑于 2025-12-10 - 来自专栏DeepHub IMBA
使用QLoRA对Llama 2进行微调的详细笔记
使用QLoRA对Llama 2进行微调是我们常用的一个方法，但是在微调时会遇到各种各样的问题，所以在本文中，将尝试以详细注释的方式给出一些常见问题的答案。 在本文中我们将使用QLoRA，这是一种用于量化llm的低秩自适应或微调技术。 trl是另一个HuggingFace库，trl其实是自2021年发布的，但是在2023年1月才被人们热传。 QLoRA 参数: # LoRA attention dimension lora_r = 64 # Alpha parameter for LoRA scaling lora_alpha 参数use_4bit(第6行)设置为True，以使用高保真的4位微调，这是后来在QLoRA论文中引入的，以实现比LLM.int8论文中引入的8位量化更低的内存要求。 使用bnb_4bit_quant_type(第12行)，nf4，根据QLoRA论文，nf4显示了更好的理论和经验性能。
7K31编辑于 2023-09-22 DeepSeek-7B-chat 4bits量化 QLora 微调
DeepSeek-7B-chat 4bits量化 QLora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 DeepSeek-7B-chat 模型进行 Lora optim="paged_adamw_32bit" 使用QLora的分页器加载优化器 args = TrainingArguments( output_dir=".
53110编辑于 2025-07-17- 来自专栏AI SPPECH
101_参数高效微调_QLoRA技术深度解析与实践
QLoRA技术原理解析 2.1 QLoRA核心思想 QLoRA的核心创新在于同时应用了量化技术和低秩适应（LoRA）方法，形成了一种"双重优化"策略。 QLoRA与其他微调技术对比 3.1 内存占用对比 QLoRA在内存效率方面显著优于其他微调方法。 QLoRA实现原理详解 4.1 量化过程分析 QLoRA的量化过程是其高效性的关键。 QLoRA实践指南 5.1 环境准备 要使用QLoRA进行微调，首先需要准备合适的环境。 QLoRA与其他技术的协同使用 12.1 QLoRA与RAG技术结合 QLoRA和检索增强生成（RAG）技术可以协同工作，提供更强大的模型能力： 原理结合：QLoRA提供任务适应能力，RAG提供最新知识检索
82110编辑于 2025-11-16 - 来自专栏人工智能极简应用
【机器学习】QLoRA：基于PEFT亲手量化微调Qwen2大模型
如上图，针对一个7B的模型，全参数16位微调，需要60G显存，QLoRA4位微调仅需6GB，仅需要1/10。面对昂贵的GPU资源，量化微调技术真的是“知识解放生产力”的典范。 聪明的人已经想到了，将上文讲到的Quantization与Lora结合，不就是QLoRA吗。 在训练模型的时候，将Linear层转换为Linear4bit 对Linear4bit量化层添加A、B两个低秩为r的小矩阵 这两个小矩阵的权重通过量化权重的反向传播梯度进行微调 在LoRA的基础上，QLoRA trainer.train() trainer.save_model(trainer.args.output_dir) 采用transformers的训练器Trainer，输入qlora模型、数据、训练参数 、PEFT一步一步带着大家微调自己的大模型，本文参考全网peft+qlora微调教程，一步一排坑，让大家在网络环境不允许的情况下，也能丝滑的开启大模型微调之旅。
3K11编辑于 2024-08-13 - 来自专栏AI智韵
QLoRA与LoRA的深度对比：从原理到实践（小白友好版）
一、一句话总结区别 LoRA是"给大模型打补丁"的技术，只训练少量参数；QLoRA = 4-bit压缩大模型 + LoRA补丁，让普通电脑也能微调大模型。 二、LoRA原理详解 1. 双重量化（QLoRA独有） 第一层：将预训练权重压缩到4-bit 第二层：连LoRA的补丁矩阵 也压缩到4-bit 减少额外200MB内存，让7B模型能在RTX 3090上训练！ ： LoRA像"电动自行车"——轻便但需要专用充电站（大显存GPU） QLoRA像"折叠电动自行车"——更便携（小显存可用），速度稍慢但能进地铁 五、手把手教学：如何选择？ ★ 真实案例： 有开发者用QLoRA在RTX 4090上微调了7B模型，训练成本仅**$3.2**，效果接近专业模型 七、权威参考 QLoRA原论文 - 4-bit量化突破 LoRA原论文 - 低秩分解原理 Hugging Face QLoRA教程 ★ 终极建议： 对小白用户，优先尝试QLoRA（用r=64, lora_alpha=128作为起点），它让大模型微调从"实验室特权"变成了"人人可玩"的技术！
1.7K10编辑于 2025-09-11 《重新定义高效微调：QLoRA 4位量化的颠覆式创新解析》
QLoRA（Efficient Finetuning of Quantized LLMs）的诞生，犹如一把利刃，划破了传统大模型微调的困境。 通过一系列的创新技术，QLoRA在大模型微调领域取得了令人惊叹的成果。研究人员使用QLoRA对超过1000个模型进行了微调实验，这些模型涵盖了多种类型和不同规模。 实验结果显示，QLoRA能够在单个48GB GPU上成功微调65B参数模型，而传统方法往往需要数倍甚至数十倍的内存资源。 这一成果不仅证明了QLoRA在大模型微调中的高效性，也为大模型的广泛应用和个性化定制带来了新的可能。 QLoRA的出现，无疑为大模型微调技术带来了革命性的变化。它让我们看到了在有限资源条件下，实现高效大模型微调的可能性。
38810编辑于 2025-05-31- 来自专栏AIGC新知
炼丹炉 | XTuner 大模型单卡低成本微调实战
... baichuan2_7b_base_qlora_alpaca_e3 ... baichuan_13b_base_qlora_alpaca_e3 ... baichuan_7b_qlora_alpaca_e3 _7b_qlora_alpaca_e3 ... llama2_70b_int8_lora_open_platypus_e1 ... llama2_7b_chat_qlora_alpaca_e3 ... llama2_7b_qlora_alpaca_e3 ... llama_7b_qlora_alpaca_e3 ... mistral_7b_qlora_skypile_pretrain_e1 qwen_ 7b_chat_qlora_alpaca_e3 ... qwen_7b_qlora_alpaca_e3 ... starcoder_qlora_stack_exchange_example yi_34b_qlora_alpaca_enzh_e3 _7b_qlora_oasst1_e3_copy.py internlm_chat_7b_qlora_medqa2019_e3.py # 修改配置文件内容 vim internlm_chat_7b_qlora_medqa2019
83910编辑于 2024-10-08 - 来自专栏《三桥君 | AI产品方法论》
【三桥君】QLoRA究竟如何从LoRA进化而来并成为AI工程师的必备技能？
引言 在当今的AI招聘市场中，QLoRA技术已经成为许多岗位的硬性要求。无论是大型科技公司还是初创企业，招聘信息中频繁出现的“熟悉QLoRA”字样，不禁让人思考：为什么这项技术如此重要？ 三、QLoRA的应用场景 应用场景 详情 个人开发者的应用 对于个人开发者而言，QLoRA的低显存占用和高性能使得在有限的计算资源下进行大模型微调成为可能。 无论是学术研究还是个人项目，QLoRA都提供了强大的支持。 企业定制化模型 在企业应用中，QLoRA能够帮助企业快速定制化大模型，满足特定业务需求。 四、QLoRA的优势与未来 QLoRA的主要优势 QLoRA的主要优势在于其低显存占用、高性能和快速推理。这些优势使得QLoRA在大模型微调、企业定制化模型和边缘设备应用等方面具有广泛的应用前景。 QLoRA在AI领域的潜力 随着AI技术的不断发展，QLoRA有望在更多领域发挥其优势。无论是学术研究还是工业应用，QLoRA都将成为AI工程师不可或缺的技能。
28110编辑于 2025-08-29 XTuner 微调
internlm2_20b_qlora_arxiv_gentitle_e3 internlm2_20b_qlora_code_alpaca_e3 internlm2_20b_qlora_colorist_e5 internlm2_20b_qlora_lawyer_e3 internlm2_20b_qlora_msagent_react_e3_gpu8 internlm2_20b_qlora_oasst1_512 internlm2_7b_qlora_arxiv_gentitle_e3 internlm2_7b_qlora_code_alpaca_e3 internlm2_7b_qlora_colorist_e5 _chat_20b_qlora_oasst1_512_e3 internlm2_chat_20b_qlora_oasst1_e3 internlm2_chat_7b_dpo_qlora_varlenattn internlm2_chat_7b_qlora_lawyer_e3 internlm2_chat_7b_qlora_oasst1_512_e3 internlm2_chat_7b_qlora_oasst1
48110编辑于 2024-10-10- 来自专栏DeepHub IMBA
深入理解三种PEFT方法：LoRA的低秩更新、QLoRA的4位量化与DoRA的幅度-方向分解
LoRA、QLoRA、DoRA 各自从不同角度切入这个问题。 QLoRA——量化 LoRA 论文：QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. QLoRA 先把基础模型量化成 4 位再在上面以 16 位跑 LoRA 适配器。 三大技术创新（来自 QLoRA 论文 ） QLoRA 论文同时引入了三项相互配合的技术。 代码（来自 artidoro/qlora） # Source: github.com/artidoro/qlora — qlora.py [2] from transformers import 基准测试结果（来自 QLoRA 论文 ） QLoRA 训练出了 Guanaco 系列模型。
55810编辑于 2026-02-27 - 来自专栏自然语言处理(NLP)论文速递
大模型实操 | LoRA、QLoRA微调大模型实战技巧分享，含常见QA解答！
实验详情可见论文：https://lightning.ai/pages/community/lora-insights/ QLoRA计算 QLoRA 是由 Tim Dettmers 等人提出的量化 LoRA QLoRA 是一种在微调过程中进一步减少内存占用的技术。在反向传播过程中，QLoRA 将预训练的权重量化为 4-bit，并使用分页优化器来处理内存峰值。 使用LoRA时可以节省33%的GPU内存。 然而，由于QLoRA中预训练模型权重的额外量化和去量化，训练时间增加了39%。 默认LoRA具有16bit浮点精度： 训练时长：1.85 小时 内存占用：21.33GB 具有4位正常浮点数的 QLoRA 训练时长为：2.79h 内存占用为：14.18GB 此外，可以发现模型的性能几乎不受影响 这说明QLoRA可以作为 LoRA 训练的替代方案，更进一步解决常见GPU内存瓶颈问题。 学习率调度器 学习率调度器会在整个训练过程中降低学习率，从而优化模型的收敛程度，避免loss值过大。
12.4K22编辑于 2023-12-28 - 来自专栏机器之心
单GPU实现99%ChatGPT性能，「原驼」火了：手机也能微调大模型
最近，来自华盛顿大学的 QLoRA 成为了 AI 领域的热门，很多人把它形容为里程碑级、改变规则的技术。 QLoRA 通过将 transformer 模型量化为 4 位精度并使用分页优化器来处理内存峰值提升了性能。 QLoRA 与标准微调 QLoRA 是否可以像全模型微调一样执行呢？ QLoRA 复制 16 位 LoRA 和 fullfinetuning。 这凸显了 QLoRA 带来的效率优势。 用 QLoRA 改进对话机器人模型 在该研究发现 4 位 QLoRA 在规模、任务和数据集方面与 16 位性能相当以后，该研究对指令微调进行了深入研究，并评估了指令微调开源模型的性能。
81820编辑于 2023-05-31 - 来自专栏量子位
跑分达ChatGPT的99%，人类难以分辨！开源「原驼」爆火，iPhone都能微调大模型了
更关键的是，与原驼一起提出的新方法QLoRA把微调大模型的显存需求从>780GB降低到<48GB。 开源社区直接开始狂欢，相关论文成为24小时内关注度最高的AI论文。 而新的高效微调方法QLoRA迅速被开源社区接受，HuggingFace也在第一时间整合上线了相关代码。 全新方法QLoRA，iPhone都能微调大模型了 原驼论文的核心贡献是提出新的微调方法QLoRA。 最终QLoRA让4-bit的原驼在所有场景和规模的测试中匹配16-bit的性能。 QLoRA的高效率，让团队在华盛顿大学的小型GPU集群上每天可以微调LLaMA 100多次…… 最终使用Open Assistant数据集微调的版本性能胜出，成为原驼大模型。
36520编辑于 2023-08-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号