- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机视觉理论及其实现
迁移学习和fine-tune的区别
3）Fine-tune：冻结预训练模型的部分卷积层（通常是靠近输入的多数卷积层），训练剩下的卷积层（通常是靠近输出的部分卷积层）和全连接层。 而fine-tune只是其中的一种手段，更常用于形容迁移学习的后期微调中。三、三种迁移学习方式的对比1）第一种和第二种训练得到的模型本质上并没有什么区别，但是第二种的计算复杂度要远远优于第一种。 如果表现不错，还想看看能不能进一步提升，就可以试试Fine-tune，进一步解锁卷积层以继续训练模型。 但是不要期待会有什么质的飞跃。 场景3：刚上手，想要 Transfer Learning + Fine-tune一气呵成。如何做：和方法一里的操作一样，唯一不同的就是只冻僵一部分卷积层训练。
11.8K20编辑于 2022-09-04 - 来自专栏炼丹笔记
Prompt：Fine-tune之后的新范式
全监督学习，即仅在目标任务的输入输出样本数据集上训练特定任务模型，长期以来在许多机器学习任务中发挥着核心作用，同样的，全监督学习在 NLP 领域也非常重要。但是全监督的数据集对于学习高质量的模型来说是不充足的，早期的 NLP 模型严重依赖特征工程。随着用于 NLP 任务的神经网络出现，使得特征学习与模型训练相结合，研究者将研究重点转向了架构工程，即通过设计一个网络架构能够学习数据特征。
91821编辑于 2022-10-27 - 来自专栏算法私房菜
Tensorflow笔记：模型保存、加载和Fine-tune
相比之下checkpoint只能在Session内读取模型，对Fine-tune来说就比较麻烦。 Fine-tune 最后不管保存还是加载模型，多数情况都是为了能够进行迁移学习。其实大部分无非就是将模型加载进来之后，使用某一个节点的值，作为我们后续模型的输入呗。 比如这里的new_pred就没有name，那我想要基于这个新模型再次进行Fine-tune的时候，就不能获取这个new_pred，就无法进行Fine-tune。 的时候不会变化，而通过checkpoint模式导入进来的参数是variables，在后续Fine-tune的时候是会发生变化的。 因为只有pb模式在加载的时候，可以在Session外进行加载，方便Fine-tune。所以个人建议，如果要进行迁移学习，先将模型转化为pb模式。 其他的想起来在写
2.4K41发布于 2021-09-24 - 来自专栏AI科技评论
实战 | BERT fine-tune 终极实践教程
另一个是训练具体任务( task )的fine-tune 部分。 因此在我们可以比较方便地在自己的数据集上进行 fine-tune。 下载预训练模型 对于中文而言，google 公布了一个参数较小的 BERT 预训练模型。 我们以分类任务的为例，介绍如何修改processor来 运行自己数据集上的 fine-tune。 我们还可以发现，在 create_model 的函数里，除了从 modeling.py 获取模型主干输出之外，还有进行 fine-tune 时候的 loss 计算。 因此，如果对于 fine-tune 的结构有自定义的要求，可以在这部分对代码进行修改。
2.5K50发布于 2018-12-19 - 来自专栏AI科技大本营的专栏
干货 | 谷歌BERT模型fine-tune终极实践教程
另一个是训练具体任务(task)的fine-tune部分。 在开源的代码中，预训练的入口是在run_pretraining.py而fine-tune的入口针对不同的任务分别在run_classifier.py和run_squad.py。 因此在我们可以比较方便地在自己的数据集上进行fine-tune。 下载预训练模型 对于中文而言，google公布了一个参数较小的BERT预训练模型。 我们以分类任务的为例，介绍如何修改processor来运行自己数据集上的fine-tune。 我们还可以发现，在create_model的函数里，除了从modeling.py获取模型主干输出之外，还有进行fine-tune时候的loss计算。
2.2K10发布于 2018-12-18 - 来自专栏Reinvent Data Science
手把手教你使用 Towhee 进行 fine-tune
但是，如果用户有自己的数据集，是否可以 fine-tune 这个 operator 呢？ 答案是肯定的。 接下来是一个保姆级教程，手把手教你如何 fine-tune 一个 Towhee 的 operator。 Interpretability for PyTorch: https://captum.ai/ [7]Quick Start | Towhee Docs: https://docs.towhee.io/fine-tune
1.8K40编辑于 2023-01-10 - 来自专栏mathor
英文文本关系抽取（fine-tune Huggingface XLNet）
本文主要是基于英文文本关系抽取比赛，讲解如何fine-tune Huggingface的预训练模型，同时可以看作是关系抽取的一个简单案例 数据预览 训练数据包含两列。 思路 总体来说都是用Huggingface的预训练模型做fine-tune，但是具体怎么做有很多种方法 第一种方法 由于label非常特殊，不光要预测实体之间的关系，还要预测其顺序，因此可以考虑预测三个值
1.6K20发布于 2020-08-31 - 来自专栏mathor
Sentence-Transformer的使用及fine-tune教程
里面有各种你可能会用到的示例代码，并且都有比较详细的说明，如果有什么问题，应该先去看官方文档 本文主要从两种情况来介绍如何使用Sentence-Transformer，一种是直接使用，另一种是在自己的数据集上fine-tune (Cosine Score: %.4f)" % (1-distance)) distance表示两个句子的余弦距离，1-distance可以理解为两个句子的余弦分数，分数越大表示两个句子的语义越相近 Fine-Tune Fine-Tune仍然是STS任务，我使用的数据集是中-韩句子对，如下所示 ? shuffle(Cn_list) # 所有的中文句子打乱排序 shuffle_Ko_list = shuffle(Ko_list) # 所有的韩语句子打乱排序 Sentence-Transformer在fine-tune
10.2K10发布于 2020-10-26 - 来自专栏漫漫深度学习路
pytorch学习笔记（十一）：fine-tune 预训练的模型
torchvision 中包含了很多预训练好的模型，这样就使得 fine-tune 非常容易。本文主要介绍如何 fine-tune torchvision 中预训练好的模型。 安装 pip install torchvision 如何 fine-tune 以 resnet18 为例： from torchvision import models from torch import
2.6K100发布于 2018-01-02 - 来自专栏GAN&CV
使用tensorflow 的slim模块fine-tune resnetdensenetinception网络，解决batchnorm问题
https://blog.csdn.net/qq_25737169/article/details/79616671 使用tf fine-tune resnet模型 前言 ---- 使用tensorflow false测试结果很差，设置成true测试结果恢复正常 训练结果很好，但是测试的结果要差上不少 但是tensorflow官方提供的常见的网络代码以及与训练模型都是基于slim模块建立的，使用者可以直接fine-tune 每个网络都有对应的代码和预训练的模型，可以直接拿来fine-tune 坑1： 对于问题：训练结果很好，测试的时候istrainingistrainingis_training设置成false测试结果很差 tf.train.GradientDescentOptimizer(learning_rate=lr).minimize(cross_entropy) 如果问题得到解决，那么恭喜，如果是在小数据集上fine-tune
2.6K20发布于 2018-09-12 - 来自专栏为了不折腾而去折腾的那些事
使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune
对 LLaMA 7B 大模型进行 fine-tune想要对 LLaMA 进行单卡的模型微调，一共分为四步。 我们就掌握完毕了，下面来看看如何使用多张显卡进行 大模型的 fine-tune，以及对 65B 的 LLaMA 大模型进行微调。 对 LLaMA 65B 大模型进行 fine-tune想要 fine-tune 65B 的模型，一样需要四个步骤。 最后关于使用低成本的显卡资源来 fine-tune 模型，我们就聊到这里。下一篇相关的文章里，我们聊聊其他几种不同的模型运行方式，以及找机会聊聊其他的模型。 当然，如果模型 fine-tune 一切顺利，我将持续更新“贾维斯”的养成笔记。--EOF-----我们有一个小小的折腾群，里面聚集了一些喜欢折腾的小伙伴。
5.2K93编辑于 2023-03-25 - 来自专栏数据派THU
Fine-tune之后的NLP新范式：Prompt越来越火，CMU华人博士后出了篇综述文章
来源：机器之心本文约4000字，建议阅读10分钟 CMU 博士后研究员刘鹏飞：近代自然语言处理技术发展的第四范式可能是预训练语言模型加持下的 Prompt Learning。 近几年，NLP 技术发展迅猛，特别是 BERT 的出现，开启了 NLP 领域新一轮的发展。 从 BERT 开始，对预训练模型进行 finetune 已经成为了整个领域的常规范式。 但是从 GPT-3 开始，一种新的范式开始引起大家的关注并越来越流行：prompting。 近段时间以来，我们可以看到大量有关 prompting 的论文
66520编辑于 2023-03-29 - 来自专栏人工智能
零样本、少样本、微调：一张“三岔口”图，带你选出最适合的大模型落地方式
> 阅读提示：5 张图、3 张表、1 段代码，一次性搞懂 Zero-shot vs Few-shot vs Fine-tune 的数据门槛、成本、效果全差异。 || 我：那就 Fine-tune 吧！→ 8 张 A100 跑 3 天，结果过拟合。 || 老板：为什么不用 Few-shot？ |根源：分不清 Zero-shot / Few-shot / Fine-tune 的适用边界与成本差异。 下面用"同一件任务"——电商评论情感分析——做对照实验，让你一眼看懂怎么选。2. 12k 标签数据2.5 h（A100×1）0.901 LoRA，epoch=3 结论：数据＜100 条→Few-shot 性价比最高；数据＞1k→再考虑 Fine-tune。 结语：一句话记住三岔口数据不够→Few-shot 先顶着；数据够了→Fine-tune 榨干红利；永远可先用 Zero-shot 探路。
66410编辑于 2025-10-09 - 来自专栏机器之心
Fine-tune之后的NLP新范式：Prompt越来越火，CMU华人博士后出了篇综述文章
近几年，NLP 技术发展迅猛，特别是 BERT 的出现，开启了 NLP 领域新一轮的发展。
1.7K20发布于 2021-08-05 - 来自专栏机器学习AI算法工程
使用resnet， inception3进行fine-tune出现训练集准确率很高但验证集很低的问题
Keras包含多种预训练模型，并且很容易Fine-tune，更多细节可以查阅Keras官方文档。 假设你没有足够的数据训练一个视觉模型，你准备用一个预训练Keras模型来Fine-tune。但你没法保证新数据集在每一层的均值和方差与旧数据集的统计值的相似性。
2.7K20发布于 2020-10-19 - 来自专栏NLP/KG
PaddleHub--飞桨预训练模型应用工具{风格迁移模型、词法分析情感分析、Fine-tune API微调}【一】
通用信息抽取 UIE、paddleNLP的安装使用[一]_汀、的博客-CSDN博客_paddlenlp 安装 项目实战： PaddleHub--飞桨预训练模型应用工具{风格迁移模型、词法分析情感分析、Fine-tune 该PaddleHub Module支持预测和Fine-tune。 Fine-tune可以分为4个步骤： Step1: 加载预训练模型 module = hub.Module(name="senta_bilstm") inputs, outputs, program = 的轮数； batch_size: 训练的批大小，如果使用GPU，请根据实际情况调整batch_size； strategy: Fine-tune优化策略； Step4: 构建网络并创建分类迁移任务进行Fine-tune 模型预测 通过Fine-tune完成模型训练后，在对应的ckpt目录下，会自动保存验证集上效果最好的模型。
94520编辑于 2022-12-21 - 来自专栏NewBeeNLP
如何提升BERT在下游任务中的性能
大多数情况下我们也都是这么使用的：下载一个预训练模型，然后在自己的数据上直接fine-tune。 那我们在使用Bert 时能不能也按这种范式，进行三阶段的fine-tune 从而提高性能呢？答案是：能！ 比如邱锡鹏老师的论文How to Fine-Tune BERT for Text Classification? 所以，在进行下游任务之前，不妨先在任务数据上继续进行pre-training 任务继续训练LM ，之后再此基础上进行fine-tune。 论文How to Fine-Tune BERT for Text Classification?
2K10发布于 2021-03-19 - 来自专栏机器之心
十余行代码完成迁移学习，百度PaddleHub实战解读
图 1 PaddleHub 功能全景 PaddleHub 主要包括两个功能：命令行工具和 Fine-tune API。 Fine-tune API PaddleHub 提供了基于 PaddlePaddle 实现的 Fine-tune API, 重点针对大规模预训练模型的 Fine-tune 任务做了高阶的抽象，让预训练模型能更好服务于用户特定场景的应用 图 2 PaddleHub Fine-tune API 全景 Fine-tune ：对一个 Task 进行 Fine-tune，并且定期进行验证集评估。 迁移任务 Task：在 PaddleHub 中，Task 代表了一个 Fine-tune 的任务。 开始 Fine-tune 我们选择 Fine-tune_and_eval 接口来进行模型训练，这个接口在 Fine-tune 的过程中，会周期性的进行模型效果的评估，以便我们了解整个训练过程的性能变化。
92120发布于 2019-05-14 - 来自专栏NewBeeNLP
预训练模型中的可插拔式知识融入——利用Adapter结构
但实际上 Fine-tune 是一个代价很大的操作，虽然它一般能带来很好的效果。 Parameters 既然两者结果很接近 是不是 Fine-tune 实际上并不需要更新那么多参数也能有那么好的结果呢？ 这部分对比两个 baseline: 只 Fine-tune Top N 层 Transformer 的参数. 只更新 LN 的参数(Ablation) 当我们减少 Fine-tune 层数的时候, 模型的准确率急剧下降; 而 Adapter 则具有很好的鲁棒性; Fine-tune LN 参数基本没用 Does 通过先投影到到一个小维度，再连接 Attention 或者其他结构来完成 Fine-tune 的任务.
2.9K20发布于 2020-08-26 - 来自专栏PaddlePaddle
PaddlePaddle升级解读 | 十余行代码完成迁移学习，PaddleHub实战篇
图 1 PaddleHub 功能全景 PaddleHub 主要包括两个功能：命令行工具和 Fine-tune API。 Fine-tune API PaddleHub 提供了基于 PaddlePaddle 实现的 Fine-tune API, 重点针对大规模预训练模型的 Fine-tune 任务做了高阶的抽象，让预训练模型能更好服务于用户特定场景的应用 图 2 PaddleHub Fine-tune API 全景 Fine-tune ：对一个 Task 进行 Fine-tune，并且定期进行验证集评估。 迁移任务 Task：在 PaddleHub 中，Task 代表了一个 Fine-tune 的任务。 开始 Fine-tune 我们选择 Fine-tune_and_eval 接口来进行模型训练，这个接口在 Fine-tune 的过程中，会周期性的进行模型效果的评估，以便我们了解整个训练过程的性能变化。
64330发布于 2019-06-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号