- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机视觉战队
引入无代码LLM FineTuning与Monster API
然而，通过Monster API的LLM FineTuner，这些挑战得到了有效解决： 复杂设置：Monster API简化了为FineTuning机器学习模型设置GPU环境的复杂过程，将其封装在用户友好 Monster API通过优化FineTuning过程中的内存利用率来解决这一挑战。 Monster API的优点 Monster API的FineTuning LLM产品的价值在于它能够简化大型语言模型（LLM）的使用并使其民主化。
59850编辑于 2023-08-24 - 来自专栏腾讯云TI平台
【技术分享】pytorch的FINETUNING实践（resnet18 cifar10)
本文主要是用pytorch训练resnet18模型，对cifar10进行分类，然后将cifar10的数据进行调整，加载已训练好的模型，在原有模型上FINETUNING 对调整的数据进行分类， 可参考pytorch 10个类别 ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck'] 需要实践FINETUNING 将net装换为DataParallel，用以并行训练，因为原Resnet18在gpu上训练使用了DataParallel，所以这里也要进行封装，会包一层module FINETUNING：将最后一层的10 ===>] Step: 20ms | Tot 100/100 | Loss: 0.399 | Acc: 89.760% (8976/10000) 在已有准确率为87.4%的Resnet18模型上进行FINETUNING
2.6K93发布于 2019-12-01 - 来自专栏机器之心
港科大&MSRA新研究：关于图像到图像转换，Finetuning is all you need
原文链接：https://medium.com/mlearning-ai/finetuning-is-all-you-need-d1b8747a7a98#7015 © THE END 转载请联系本公众号获得授权
72230编辑于 2022-07-01 - 来自专栏IT从业者张某某
深入探索像ChatGPT这样的大语言模型-02-POST training supervised finetuning
GPT等大模型是如何训练的 POST-training：supervised finetuning 为了让模型可以提问，可以给出答案，我们需要一个助手模型，这就进入了后训练阶段 在前一个预训练阶段需要很多的资源数百万
50600编辑于 2025-03-15 - 来自专栏自然语言处理
Finetuning: 如何选择LLM应用选择最佳方案
在构建基于大型语言模型（LLM）的应用时，通常不可能立即使用模型而无需任何调整。为了保持高实用性，我们可以选择以下几种方法之一：
50010编辑于 2024-12-20 - 来自专栏GiantPandaCV
EagleEye：一种用模型剪枝的快速衡量子网络性能的方法
EagleEye 动机 传统模型剪枝的三步流程是：模型预训练、模型剪枝和finetuning。为什么会需要finetuning这个环节呢？ 未进行finetuning的模型精度和finetuning收敛后的模型精度是否成存在正相关？ 针对这两个问题，EagleNet论文中进行了研究和实验。 在finetuning过程中，权重分布只发生了一点偏移，但是finetuning前后模型性能发生巨大变化。 在没有进行finetuning的模型，模型的BN层参数继承于原模型，和当前模型的权重参数并不match，影响了模型的精度，并且导致finetuning前后模型精度不成正相关的问题在finetuning的过程 Finetuning前后模型精度具备强相关性的话，我们就能省去传统finetuning的过程，极大的加速整个迭代流程。
93030发布于 2021-04-30 - 来自专栏全栈程序员必看
弹性网络回归模型_数据模型剪枝
EagleEye 动机 传统模型剪枝的三步流程是：模型预训练、模型剪枝和finetuning。为什么会需要finetuning这个环节呢？ 在finetuning过程中，权重分布只发生了一点偏移，但是finetuning前后模型性能发生巨大变化。 在左图中，我们可以看出finetuning前后的模型性能分布差别较大，finetuning前后模型的精度没有较强的正相关 那么问题的答案是什么呢？ 在没有进行finetuning的模型，模型的BN层参数继承于原模型，和当前模型的权重参数并不match，影响了模型的精度，并且导致finetuning前后模型精度不成正相关的问题在finetuning的过程 Finetuning前后模型精度具备强相关性的话，我们就能省去传统finetuning的过程，极大的加速整个迭代流程。
70210编辑于 2022-09-22 - 来自专栏111222444
测试发文
动机 国际惯例，列举finetuning缺点： 需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。 动机 国际惯例，列举finetuning缺点： 需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。 动机 国际惯例，列举finetuning缺点： 需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。 动机 国际惯例，列举finetuning缺点： 需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。 动机 国际惯例，列举finetuning缺点： 需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。
10500编辑于 2022-05-19 - 来自专栏DeepHub IMBA
使用LORA微调RoBERTa
train_dataset, eval_dataset=eval_dataset, data_collator=data_collator, ) full_finetuning_trainer AutoModelForSequenceClassification.from_pretrained(base_model, id2label=id2label), ) full_finetuning_trainer.train get_peft_model(model, peft_config) print('PEFT Model') peft_model.print_trainable_parameters() peft_lora_finetuning_trainer = get_trainer(peft_model) peft_lora_finetuning_trainer.train() peft_lora_finetuning_trainer.evaluate achimoraites/machine-learning-playground/blob/main/NLP/Text%20classification/Lightweight_RoBERTa_PEFT_LORA_FineTuning.ipynb
96911编辑于 2024-02-21 - 来自专栏磐创AI技术团队的专栏
【注意力机制】transformers之转换Tensorflow的Checkpoints
OPENAI_GPT_CHECKPOINT_FOLDER_PATH \ --pytorch_dump_output $PYTORCH_DUMP_OUTPUT \ [--config OPENAI_GPT_CONFIG] \ [--finetuning_task_name CHECKPOINT_PATH \ --pytorch_dump_output $PYTORCH_DUMP_OUTPUT \ [--config OPENAI_GPT2_CONFIG] \ [--finetuning_task_name TRANSFO_XL_CHECKPOINT_FOLDER_PATH \ --pytorch_dump_output $PYTORCH_DUMP_OUTPUT \ [--config TRANSFO_XL_CONFIG] \ [--finetuning_task_name TRANSFO_XL_CHECKPOINT_PATH \ --config $TRANSFO_XL_CONFIG_PATH \ --pytorch_dump_output $PYTORCH_DUMP_OUTPUT \ [--finetuning_task_name tf_checkpoint $XLM_CHECKPOINT_PATH \ --pytorch_dump_output $PYTORCH_DUMP_OUTPUT [--config XML_CONFIG] \ [--finetuning_task_name
2.6K20发布于 2020-04-07 - 来自专栏HUC思梦的java专栏
从LLaMA-Factory项目认识微调
由于这部分比较重要，我把lora部分代码放到下边，并用注释解释一下： if finetuning_args.finetuning_type == "lora": logger.info , "lora_alpha": finetuning_args.lora_alpha, "lora_dropout": finetuning_args.lora_dropout , "lora_dropout": finetuning_args.lora_dropout, "use_rslora": finetuning_args.use_rslora 它首先调用create_custom_optimzer函数来创建优化器，该函数根据模型、参数和finetuning_args来决定如何创建优化器。 : return _create_galore_optimizer(model, training_args, finetuning_args, max_steps) if finetuning_args.loraplus_lr_ratio
10.5K14编辑于 2024-04-18 - 来自专栏从流域到海域
NEFTune: 通过简单的噪声提升指令精调效果
NEFTune指的是Noise Embedding Finetuning（噪声嵌入精调），提出自论文：NEFTune: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING 参考文献 NEFTune: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING、 https://github.com/neelsjain/NEFTune Freelb
84320编辑于 2023-11-17 - 来自专栏从流域到海域
LoRA: 大模型快速训练的秘诀
Latency: 虽然Adapter后续又有很多变种，但无论如何额外添加的Adapter层都会拖慢推理速度 Directly Optimizing the Prompt is Hard: 应用Prefix-Finetuning 总结下来，LoRA拥有以下优点： A Generalization of Full Fine-tuning LoRA是一个更通用的finetuning方法，可以仅训练预训练模型参数的一小部分，它不需要在模型适配过程中累积梯度来更新全秩参数 这意味着当应用在全部权重矩阵和偏差项上应用LoRA更新时，通过设置LoRA的秩 r 为预训练权重的秩，基本能够还原全量finetuning同等水平的表征能力。 这保证了和采用构建的finetuning方法相比，单任务及多任务都没有引入额外的推理时延。 假设我们需要100个转化模型，使用LoRA仅需保存 350GB+35MB\times 100 \approx 354GB 大小的空间，而全量Finetuning则需要 100 \times 350GB=
1.3K30编辑于 2023-10-12 - 来自专栏DeepHub IMBA
使用GPT-4生成训练数据微调GPT-3.5 RAG管道
finetuning_handler = OpenAIFineTuningHandler() callback_manager = CallbackManager([finetuning_handler questions: response = query_engine.query(question) # save fine-tuning events to jsonl file finetuning_handler.save_finetuning_events ("finetuning_events.jsonl") from llama_index.finetuning import OpenAIFinetuneEngine # construct 并且还能节省不少成本（2.5倍） 如果你对这个方法感兴趣，源代码在这里： https://colab.research.google.com/github/wenqiglantz/nvidia-sec-finetuning /blob/main/nvidia_sec_finetuning.ipynb 作者:Wenqi Glantz
97120编辑于 2023-09-14 Llama Factory 使用指南
0.5B \ --do_train \ --dataset alpaca_zh_demo \ --dataset_dir data \ --template qwen \ --finetuning_type models/Qwen1.5-0.5B \ --adapter_name_or_path saves/qwen1.5-0.5b/lora-demo \ --template qwen \ --finetuning_type ", "rejected": "随便看看视频就行" }]训练命令：--stage dpo --dataset your_dpo_data --template qwen --finetuning_type 量化训练（QLoRA）--quantization_bit 4 --finetuning_type qlora4. ✅ 解决方案：使用 --quantization_bit 4 + --finetuning_type qlora增大 --gradient_accumulation_steps减小 --per_device_train_batch_size
3.1K11编辑于 2025-09-17- 来自专栏PaddlePaddle
飞桨对话模型工具箱（二）：对话自动评估模块ADE
,可以提高评估效果（包含human，keywords，seq2seq_att，seq2seq_naive，4个finetuning任务）; 模型结构: finetuning阶段学习表示到计算logits 部分和第一阶段模型结构相同，区别在于finetuning阶段计算square_error_cost loss； 用于第二阶段fine-tuning的对话系统包括下面四部分： human: 人工模拟的对话系统 -d ${pretrain_model_path} ] then mkdir${pretrain_model_path} fi 2、第二阶段finetuning模型的训练： 方式一: 推荐直接使用模块内脚本训练 $CUDA_VISIBLE_DEVICES" ] then use_cuda=false else use_cuda=true fi 2、第二阶段finetuning模型的预测： 方式一 --output_prediction_file="data/output/pretrain_matching_predict"\ --loss_type="CLS" 2、第二阶段finetuning
99430发布于 2019-11-01 - 来自专栏我爱计算机视觉
NeurIPS 2023 | MQ-Det: 首个支持多模态查询的开放世界目标检测大模型
实验结果：Finetuning-frree评估 Finetuning-free ：相比传统零样本（zero-shot）评估仅利用类别文本进行测试，MQ-Det提出了一种更贴近实际的评估策略：finetuning-free 在finetuning-free的设定下，MQ-Det对每个类别选用了5个视觉示例，同时结合类别文本进行目标检测，而现有的其他模型不支持视觉查询，只能用纯文本描述进行目标检测。 表1 各个检测模型在LVIS基准数据集下的finetuning-free表现 从表1可以看到，MQ-GLIP-L在GLIP-L基础上提升了超过7%AP，效果十分显著！ 5. 由表2可以看到，MQ-Det除了强大的finetuning-free表现，还具备良好的小样本检测能力，进一步印证了多模态查询的潜力。图2也展示了MQ-Det对于GLIP的显著提升。
1.4K30编辑于 2023-10-23 RAG VS Fine-Tuning模型微调详解
java复制代码import java.util.ArrayList;import java.util.List;public class FineTuning {// 模拟训练数据集private List 实际中会有更复杂的评估逻辑double accuracy = 0.8; // 假设模型准确率为80%return accuracy; }public static void main(String[] args) {FineTuning fineTuning = new FineTuning();// 初始化训练数据 fineTuning.initializeTrainingData();// 训练模型 fineTuning.trainModel ();// 评估模型性能double accuracy = fineTuning.evaluateModel(); System.out.println("Model accuracy: " + accuracy); // 输出模型准确率 }}在这个Java代码中，我们模拟了一个简单的Fine-Tuning流程：我们创建了一个FineTuning类，其中包含一个模拟的训练数据集trainingData
59521编辑于 2024-11-22- 来自专栏机器之心
支持二次编辑、导入虚拟引擎5，Stable Diffusion进化出3D生成功能
Stable FineTuning：帮助企业用户加速特定用例的图片、对象和风格微调。 私人预览地址：https://stability.ai/contact Stable FineTuning Stable FineTuning 使企业和开发人员能够以创纪录的速度微调图片、对象和样式，并且可以轻松地集成到用户自己的应用程序中 Stable FineTuning 使用户能够将他们的图片定制成现代数字艺术，形成富有想象力的创作。这对于娱乐、游戏、广告和营销行业的工作者来说非常有价值。
57140编辑于 2023-11-02 - 来自专栏从流域到海域
最强英文开源模型Llama2架构与技术细节探秘
整体finetuning过程使用了1百万人工标记数据。 training Code Llama-Python（面向python语言的代码模型），第一步之后先用100B token的python代码进行训练，然后再使用20B的token在长上下文的场景上进行finetuning 得到最终模型 Code Llama（通用代码模型），第一步之后使用20B的token在长上下文的场景上进行finetuning得到最终模型 Code Llama-Instruct（面向对话的代码模型）， 第一步之后同Code Llama使用20B的token在长上下文的场景上进行finetuning，然后再在5B的token上进行指令精调 训练集详情如下： 细节上： Code Training即使用代码数据进行训练
3.4K30编辑于 2023-11-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号