- 综合排序
- 最热优先
- 最新优先
- 来自专栏炼丹笔记
No Fine-Tuning, Only Prefix-Tuning
这篇论文<Prefix-Tuning:Optimizing Continuous Prompts for Genreration>就提出一个轻量级的替代方式，使得语言模型参数固定，优化一个较小的特定任务的向量 如下图所示: Prefix-Tuning prefix-tuning在生成式任务中可以替代fine-tuning，方法就是在自回归模型前加个prefix,z=[PREFIX;x;y]或者再encoder 参考文献 1、Prefix-Tuning:Optimizing Continuous Prompts for Genreration https://www.aminer.cn/pub/5ff4336291e01130648dc2f4
1.1K40编辑于 2022-01-05 - 来自专栏111222444
测试发文
论文原文：Prefix-Tuning: Optimizing Continuous Prompts for Generation， 2021，不到一年的文章，引用已经两百多了，你说呢。 而这篇文章就提出prefix-tuning的nlg训练方法。 动机 国际惯例，列举finetuning缺点： 需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。 而这篇文章就提出prefix-tuning的nlg训练方法。 动机 国际惯例，列举finetuning缺点： 需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。 而这篇文章就提出prefix-tuning的nlg训练方法。 动机 国际惯例，列举finetuning缺点： 需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。 而这篇文章就提出prefix-tuning的nlg训练方法。 动机 国际惯例，列举finetuning缺点： 需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。
10500编辑于 2022-05-19 - 来自专栏小七的各种胡思乱想
冻结LM微调Prompt: Prefix-tuning & Prompt-tuning & P-tuning
因此可以固定预训练模型，拔插式加入Prompt用于不同下游任务 Prefix-Tuning Paper: 2021.1 Optimizing Continuous Prompts for Generation Prefix-Tuning进一步把control code优化成了虚拟Token，每个NLP任务对应多个虚拟Token的Embedding（prefix），对于Decoder-Only的GPT，prefix 相同的prefix长度，Prompt-tuning(<0.01%)微调的参数量级要比Prefix-tuning(0.1%~1%)小10倍以上，如下图所示 图片 为什么上面prefix-tuning只微调 可以当做prefix-tuning的前导文来看 WRAP: Word-level Adversarial ReProgramming。 介于Prefix-tuning和Prompt-tuning之间，这里就不细说了 苏神https://kexue.fm/archives/8295
6.8K50编辑于 2023-03-10 - 来自专栏NewBeeNLP
一文搞懂！如何高效微调你的 LLM
Prefix-tuning 冻结了 PLM 参数并且只优化了 prefix。因此，只需要为每个任务存储特定 prefix，使 Prefix-tuning 模块化且节省存储空间。 Prefix-Tuning 示例图 Prefix-Tuning 在输入前添加前缀，即 z=[Prefix, x,y] ， P_{idx} 为前缀序列的索引， |P_{idx}| 为前缀的长度 同时，Prefix-tuning 可以直接修改模型更深层的表示，避免了跨越网络深度的长计算路径问题。 ，而 Prefix-Tuning 是针对 NLG 任务设计 。 同时， P-Tuning 只在 embedding 层增加参数，而 Prefix-Tuning 在每一层都添加可训练参数 。
3.1K52编辑于 2023-08-29 - 来自专栏圆圆的算法笔记
如何将大模型应用到自己的业务中？7种大模型应用方式和代表论文总结
Be Comparable to Fine-tuning Universally Across Scales and Tasks（2021）、GPT Understands, Too（2021） 4、Prefix-tuning 与prompt-tuning的思路非常类似，prefix-tuning在输入文本前面加入一些任务特定的可学习参数，这些参数跟随下游任务做finetune，预训练模型整体参数固定不变。 Prefix-tuning和prompt-tuning是同一时期的两类工作，二者核心思路是相同的，都是用一小部分参数的finetune（prefix对应的前缀向量，或prompt对应的模板向量）让大模型适配下游任务 代表论文：Prefix-Tuning: Optimizing Continuous Prompts for Generation（2021） 5、Adapter-tuning 在大模型的中间部分加一个参数量较小的网络结构
4.6K30编辑于 2023-08-17 - 来自专栏圆圆的算法笔记
从统一视角看各类高效finetune方法
Prefix-tuning的核心是为每个下游任务增加一个prefix embedding，只finetune这些embedding，其他参数freeze。 Prefix-tuning对应的论文是Prefix-Tuning: Optimizing Continuous Prompts for Generation（2021），这类方法的思想来源于prefix 通过上述公式，我们可以从另一个视角来看prefix-tuning：即在原始attention的输出结果上，对位相加一个由prefix embedding得到的attention值，实现对原始attention 并且，prefix-tuning中prefix embedding的数量其实和Adapter中降维的维度具有相似的功能。 Adapter、Prefix-tuning、LoRA等方法按照 上面4个维度拆分，各自的实现形式如下表： 接下来，文中基于上述4个模块设计了一些新的方法： Parallel Adapter：将Adapter
2.6K10编辑于 2022-12-19 - 来自专栏我还不懂对话
Fine-tuning过时啦，NLG生成任务如何Tuning？
论文原文：Prefix-Tuning: Optimizing Continuous Prompts for Generation， 2021，不到一年的文章，引用已经两百多了，你说呢。 而这篇文章就提出prefix-tuning的nlg训练方法。动机国际惯例，列举finetuning缺点：需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。 受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific [image-20220516000951329.png]如图，prefix-tuning每个任务有少量prefix的参数，约占整体0.1%，远小于lightweight fine-tuning的2-4% 其中prefix-tuning是PREFIX; x; y形式，infix-tuning即x; INFIX; y下过如下图，prefix都是最优的。
1.5K60编辑于 2022-09-06 - 来自专栏腾讯技术工程官方号的专栏
大模型微调方法总结
作者：ethan LoRA,Adapter,Prefix-tuning，P-tuning，Prompt-tuning。 finetune 大模型时，由于训练成本太高，不太可能重新训练所有模型参数 ● 以前的方法（论文发表于 2021 年）都或多或少有其它性能问题，如 adapter 增加了模型层数，引入了额外的推理延迟；prefix-tuning 3、Prefix-tuning paper：Prefix-Tuning: Optimizing Continuous Prompts for Generation（https://arxiv.org/pdf /2101.00190.pdf） code：GitHub - XiangLi1999/PrefixTuning: Prefix-Tuning: Optimizing Continuous Prompts 参考资料 [1] GitHub - XiangLi1999/PrefixTuning: Prefix-Tuning: Optimizing Continuous Prompts for Generation
2.9K42编辑于 2023-07-26 - 来自专栏从流域到海域
四两拨千斤，训练大模型的PEFT方法
Prefix Tuning 原论文：Prefix-Tuning: Optimizing Continuous Prompts for Generation Finetuning在下游任务精调阶段更新预训练模型的所有参数 红色部分表示更新，灰色部分参数不更新 Prefix-Tuning在模型执行不同的任务时添加不同的前缀（prefix），训练时固定预训练模型的原始参数，仅更新前缀部分的参数（上图下半部分）。 那么Prefix-Tuning在 x 之前插入prefix部分，得到 z=[prefix,x,y] ，使用 P_{idx} 表示前缀的索引， |P_{idx}| 表示前缀的长度，整个前缀部分对应向量矩阵形式的参数 有读者可能这里会想到，能否把额外的参数部分添加在输入 x 和输出 y 之间呢，原作者这种方式称为 Infix-Tuning ，也进行了尝试，但实际效果不如 Prefix-Tuning 。 也是固定了预训练模型的参数，通过引入一部分额外参数加一个Bi-LSTM加DNN的简单Encoder（Encoder本身的参数也属于额外增加的部分）来实现NLU任务的训练，它跟Prefix有一下不同点： Prefix-Tuning
1.5K30编辑于 2023-10-12 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
理解 P-tuning v2 微调方法，首先需要了解 prefix-tuning 微调方法和 P-tuning v1 微调方法。 3.1.1 Prefix-tuning 微调方法 Prefix-tuning 微调方法在模型中加入 prefix，即连续的特定任务向量，微调时只优化这一小段参数。 Prefix-tuning 通过初始化可训练矩阵Pθ(维度为∣Pidx×dim(hi)∣) 来存储 prefix 参数： $hi={Pθi,:,ifi∈PidxLMϕ(zi,h<i),otherwise 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。 如下图所示： 图片 与 P-tuning v1 微调方法相比，P-tuning v2 微调方法采用了 prefix-tuning 的做法，在输入前面的每一层都加入可微调的参数。
26K07编辑于 2023-07-16 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
理解 P-tuning v2 微调方法，首先需要了解 prefix-tuning 微调方法和 P-tuning v1 微调方法。 3.1.1 Prefix-tuning 微调方法 Prefix-tuning 微调方法在模型中加入 prefix，即连续的特定任务向量，微调时只优化这一小段参数。 Prefix-tuning 通过初始化可训练矩阵Pθ(维度为∣Pidx×dim(hi)∣) 来存储 prefix 参数： KaTeX parse error: Expected '}', got 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。 如下图所示： 与 P-tuning v1 微调方法相比，P-tuning v2 微调方法采用了 prefix-tuning 的做法，在输入前面的每一层都加入可微调的参数。
10.3K67编辑于 2023-10-11 - 来自专栏圆圆的算法笔记
WWW 2022 | 信息检索方向值得一读的3篇论文详解
在prefix-tuning中，插入的prefix embedding既有query和document共享的，也有query和document私有的。 文中提出结合prefix-tuning和LoRA两种finetune方式，增强轻量级finetune的效果。 而prompt-tuning和prefix-tuning的效果要差一些。 在bi-encoder中，LoRA系列模型没有特别明显的效果优势，prompt-tuning和prefix-tuning体现出一定优势。 并且将二者进行结合的方式，相比单独使用prefix-tuning和LoRA方法效果进一步提升，证明了本文提出的混合finetune方法在bi-encoder架构中的有效性。
72530编辑于 2022-09-22 - 来自专栏xiaosen
大模型Prompt-Tuning技术进阶
与更新所有 PLM 参数的全量微调不同，Prefix-Tuning 固定 PLM 的所有参数，只更新优化特定任务的 prefix。 Prefix-tuning 冻结了 PLM 参数并且只优化了 prefix。因此，只需要为每个任务存储特定 prefix，使 Prefix-tuning 模块化且节省存储空间。 Prefix-Tuning 在输入前添加前缀，即 z=[Prefix,x,y] ， P_{idx} 为前缀序列的索引， |P_{idx}| 为前缀的长度。 P-Tuning 与 Prefix-Tuning 的方法思路很相近，P-Tuning 利用少量连续的 embedding 参数作为 prompt使 GPT 更好的应用于 NLU 任务，而 Prefix-Tuning 是针对 NLG 任务设计，同时，P-Tuning 只在 embedding 层增加参数，而 Prefix-Tuning 在每一层都添加可训练参数。
95310编辑于 2024-06-06 [技术杂谈]什么是全量参数微调
State-of-the-art Parameter-Efficient Fine- Tuning (SOTA PEFT)，特指部分参数的微调方法，这种方法算力功耗比更高，也是目前最为常见的微调方法，比如lora微调、Prefix-Tuning
22700编辑于 2025-07-20- 来自专栏数据分析与挖掘
你也可以动手参数有效微调：LoRA、Prefix Tuning、P-Tuning、Prompt Tuning
使用的方法来自这些论文： LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS Prefix Tuning: Prefix-Tuning: Optimizing chinese-roberta-wwm-ext 显存：Tesla T4 15G batch_size：64 epoch：3 max_length：86 lr：3e-4 以下是结果，各位自行分析吧： 全参数微调 prefix-tuning shuffle=False, collate_fn=collate_fn, batch_size=batch_size ) # 训练器配置 p_type = "lora" if p_type == "prefix-tuning
2.9K41编辑于 2023-04-27 - 来自专栏圆圆的算法笔记
NLP中的绿色Finetune方法
Prefix-tuning REFORMER: THE EFFICIENT TRANSFORMER（ICLR 2020）提出了采用局部敏感哈希的方法提升Transformer效率。 Prefix-Tuning: Optimizing Continuous Prompts for Generation（2021）提出的方法只finetune 0.1%的参数就取得和finetune相当的效果 END 如果觉得我的文章对你有帮助 请关注我吧～ Prefix-Tuning: Optimizing Continuous Prompts for Generation（2021）提出的方法只finetune
73230编辑于 2022-09-22 - 来自专栏程序随笔
聊聊ChatGLM中P-tuning v2的应用
P-tuning v2的方案中，从图直观来看，有两个关键的点： prompts会加在序列的前端，而不仅仅是插入到input embedding 每一层都会插入prompts v2版本主要基于p-tuning和prefix-tuning prefix-tuning是在Transformer的Encoder和Decoder的网络中都加了一些特定的前缀。 而基于这两种技术的v2版本，则是将两者结合。
65410编辑于 2024-01-13 - 来自专栏大模型&AIGC
6种大模型微调技术
基本不降低模型在下游任务中的表现Prefix tuning(2021)(1) 论文信息来自论文《Prefix-Tuning: Optimizing Continuous Prompts for Generation 在本文中，我们提出了前缀微调（prefix-tuning），这是一种针对自然语言生成任务的轻量级微调替代方案。该方法保持语言模型参数不变，但优化了一个小的、连续的任务特定向量（称为前缀）。 （3）思路固定LLM参数，类似Prefix-tuning在Deep FT层：在seq前面加n个虚拟token，以此构造一个连续的token，作为微调参数（结构一样是transformer）在多种任务上下进行微调完全变为生成模型
2.8K00编辑于 2025-05-08 - 来自专栏机器学习AI算法工程
大模型（LLMs）算法工程师相关的面试题和参考答案
4.2.5 指示微调（Prompt-tuning）与 Prefix-tuning 区别 是什么？ 4.2.6 指示微调（Prompt-tuning）与 fine-tuning 区别 是什么？ 4.1.1 为什么需要 前缀微调（Prefix-tuning）？ 4.1.2 前缀微调（Prefix-tuning）思路是什么？ 4.1.3 前缀微调（Prefix-tuning）的优点是什么？ 4.1.4 前缀微调（Prefix-tuning）的缺点是什么？ 4.1 前缀微调（Prefix-tuning）篇 4.2 指示微调（Prompt-tuning）篇 4.3 P-tuning 篇 4.4 P-tuning v2 篇 一、为什么 需要 适配器微调
8.9K23编辑于 2023-11-13 - 来自专栏深度学习自然语言处理
卷起来！Dr. LLaMA：通过生成数据增强改进特定领域 QA 中的小型语言模型，重点关注医学问答任务
本文探索了 1.有效在小模型上finetune的方法对比（Prefix-tuning vs LoRA）; 2.LLM数据增强的有效性。 Prefix Tuning 和 LoRA的具体应用图示 Prefix-tuning：prefix tuning就是训练一个小的、任务特定的网络，可称之为前置网络（prefix network），来生成特定任务的输入前置信息
75010编辑于 2023-08-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号