集成SwanLab有两种方式:使用add_swanlab_callback函数:无需修改源码,仅适用于单卡训练场景使用return_swanlab_callback函数:需要修改源码,适用于单卡以及多卡 1.1 引入add_swanlab_callbackfrom swanlab.integration.ultralytics import add_swanlab_callbackSwanLabCallback 1.2 引入add_swanlab_callback下面是使用yolov8n模型在coco数据集上的训练,只需将model传入add_swanlab_callback函数,即可完成与SwanLab的集成 如果需要自定义SwanLab的项目、实验名等参数,则可以在return_swanlab_callback中添加:return_swanlab_callback( model, project 相关链接Ultralytics文档: UltralyticsSwanLab官网:SwanLab - 在线AI实验平台,一站式跟踪、比较、分享你的模型SwanLab官方文档:SwanLab官方文档 | 先进的
YOLOv8猫狗检测:从SwanLab可视化训练到Gradio Demo网站基于YOLO模型在自定义数据上做训练,实现对特定目标的识别和检测,是CV领域非常经典的任务,也是AI项目落地最热门的方向之一。 这篇文章我将带大家使用Ultralytics、SwanLab、Gradio这两个开源工具,完成从猫狗检测数据集准备、代码编写、可视化训练到推理Demo的全过程。 import add_swanlab_callbackimport swanlabdef main(): swanlab.init(project="Cats_Dogs_Detection", 在运行训练脚本的时候,如果你是第一次使用swanlab,那么需要去swanlab官网注册一个账号,然后在用户设置界面复制API Key,然后在命令行输入swanlab login,粘贴API Key即可完成登录 相关链接在线看实验过程:猫狗检测 · SwanLabSwanLab:https://swanlab.cn数据集:百度云,提取码: f238
SwanLab:https://swanlab.cn 相关文章:Qwen2指令微调 知识点:什么是指令微调? 这里直接使用SwanLab和Transformers的集成来实现: from swanlab.integration.huggingface import SwanLabCallback swanlab_callback callbacks=[swanlab_callback], ) 如果你是第一次使用SwanLab,那么还需要去https://swanlab.cn上注册一个账号,在用户设置页面复制你的API Key,然后在训练开始时粘贴进去即可 相关链接 代码:完整代码直接看本文第5节 实验日志过程:GLM4-Fintune - SwanLab 模型:Modelscope 数据集:zh_cls_fudan_news SwanLab:https: //swanlab.cn
代码中用swanlab主要用于记录指标和可视化。 : from swanlab.integration.huggingface import SwanLabCallback # 设置swanlab回调函数 swanlab_callback = SwanLabCallback 回调函数 callbacks=[swanlab_callback], ) 想了解更多关于SwanLab的知识,请看SwanLab官方文档。 训练过程看这里:BERT-SwanLab。 在首次使用SwanLab时,需要去官网注册一下账号,然后在用户设置复制一下你的API Key。 然后在终端输入swanlab login: swanlab login 把API Key粘贴进去即可完成登录,之后就不需要再次登录了。
SwanLab介绍swanlab地址:swanlab.cnGithub地址:https://github.com/SwanHubX/SwanLabSwanLab是一款开源、轻量级的AI实验跟踪工具,提供了一个跟踪 快速上手参考链接:SwanLab快速开始2.1 安装swanlabpip install swanlab如果下载太慢,可以使用以下命令从清华源下载:pip install swanlab -i https ://pypi.tuna.tsinghua.edu.cn/simple2.2 登录账号如果你之前没有注册用SwanLab账号,那么去官网注册一个,然后记一下你的API Key:在命令行输入:swanlab 2.3 运行案例程序import swanlabimport random# 初始化一个新的swanlab run类来跟踪这个脚本swanlab.init( # 设置将记录此次运行的项目信息 project 上传训练指标 swanlab.log({"acc": acc, "loss": loss})运行后,你会在最开始看到swanlab链接:点击链接就可以看到可视化效果,或者访问SwanLab官网,会在你的账号下看到新的实验
模型与数据集百度云链接:百度云,提取码: gtk8SwanLab:https://swanlab.cn1.环境安装本案例基于Python>=3.8,请在您的计算机上安装好Python;另外,您的计算机上至少要有一张英伟达显卡 ==0.3.11,更多库版本可查看SwanLab记录的Python环境。 配置训练可视化工具我们使用SwanLab来监控整个训练过程,并评估最终的模型效果。 如果你是第一次使用SwanLab,那么还需要去 https://swanlab.cn 上注册一个账号,在用户设置页面复制你的API Key,然后在训练开始时粘贴进去即可:5.开始训练由于训练的代码比较长 :https://swanlab.cn
在这个任务中我们会使用Qwen2-1.5b-Instruct模型在zh_cls_fudan_news数据集上进行指令微调任务,同时使用SwanLab进行监控和可视化。 配置训练可视化工具 我们使用SwanLab来监控整个训练过程,并评估最终的模型效果。 这里直接使用SwanLab和Transformers的集成来实现: from swanlab.integration.huggingface import SwanLabCallback swanlab_callback callbacks=[swanlab_callback], ) 如果你是第一次使用SwanLab,那么还需要去https://swanlab.cn上注册一个账号,在**用户设置**页面复制你的API Key (result_text, caption=response)) swanlab.log({"Prediction": test_text_list}) swanlab.finish() 看到下面的进度条即代表训练开始
@XDU;SwanLab联合创始人 声明:本文只做分享,版权归原作者,侵权私信删除! • 数据集:chinese_ner_sft • SwanLab:https://swanlab.cn 知识点1:什么是指令微调? 这里直接使用SwanLab和Transformers的集成来实现: from swanlab.integration.huggingface import SwanLabCallback swanlab_callback callbacks=[swanlab_callback], ) 如果你是第一次使用SwanLab,那么还需要去https://swanlab.cn上注册一个账号,在用户设置页面复制你的API Key,然后在训练开始时粘贴进去即可 (result_text, caption=response)) swanlab.log({'Prediction': test_text_list}) swanlab.finish() 看到下面的进度条即代表训练开始
代码:完整代码直接看本文第5节 或 Github 实验日志过程:Qwen2-1.5B-NER-Fintune - SwanLab 模型:Modelscope 数据集:chinese_ner_sft SwanLab :https://swanlab.cn 知识点1:什么是指令微调? 这里直接使用SwanLab和Transformers的集成来实现: from swanlab.integration.huggingface import SwanLabCallback swanlab_callback callbacks=[swanlab_callback], ) 如果你是第一次使用SwanLab,那么还需要去https://swanlab.cn上注册一个账号,在用户设置页面复制你的API Key,然后在训练开始时粘贴进去即可 模型:Modelscope 数据集:chinese_ner_sft SwanLab:https://swanlab.cn
SwanLab简介SwanLab 是一个开源的模型训练记录工具,常被称为"中国版 Weights&Biases + Tensorboard"。 SwanLab面向AI研究者,提供了训练可视化、自动日志记录、超参数记录、实验对比、多人协同等功能。 callbacks=[swanlab_callback],)首次使用SwanLab,需要先在官网注册一个账号,然后在用户设置页面复制你的API Key,然后在训练开始提示登录时粘贴即可,后续无需再次登录 :SwanLab API Key的位置:更多用法可参考快速开始、Transformers集成。 SwanLab记录,需要调用swanlab.finish()swanlab.finish()我们运行python train.py,可以看到下面的进度条即代表训练开始: 训练结果演示详细训练过程请看这里
swift_output/internlm3-8b-lora" # 模型作者 model_author="fei" # 训练后的模型名称 model_name="InternLM3-8B-Lora" # swanlab per_device_train_batch_size 8 \ --learning_rate 1e-4 \ --warmup_ratio 0.1 \ --report_to swanlab \ --swanlab_project $swanlab_project \ --split_dataset_ratio 0 \ --lora_rank 8 \ --lora_alpha SwanLab 是一款开源、轻量的 AI 模型训练跟踪与可视化工具,提供了一个跟踪、记录、比较、和协作实验的平台。 pip install swanlab 3)登录 swanlab 3.1)前往 swanlab 注册 网址:https://swanlab.cn/ 3.2)获取 API Key 3.2)服务器登录 swanlab
构建开源工具链降低AI研发门槛 通过SwanLab训练实验工具与SwanHub开源社区,为高校提供完整的AI研发基础设施: SwanLab支持30+主流AI框架,实现训练过程可视化与模型管理 SwanHub 2404.18225 实现AI教育全层级覆盖与科研效率提升 建立从基础教育到科研应用的全栈式培训体系: 中小学生掌握提示词设计与AI创作,培养基础AI素养 高校科研团队利用开源工具开展模型训练,清华大学等机构已基于SwanLab 发表多篇顶会论文 企业用户占比9.98%,包括华为、阿里、腾讯等头部企业 “SwanLab与LLaMA Factory深度合作,致力于为中国AI训练者提供优质、高效的大模型训练体验” —— SwanLab 数据来源:教育部、清华大学AMiner团队、SwanLab用户统计、arXiv论文收录记录
SwanLab提供一站式AI训练实验工具 腾讯云推出SwanLab平台,为AI训练提供全生命周期管理解决方案。该平台支持30+主流AI框架,涵盖大语言模型微调、自动驾驶、强化学习等训练场景。 量化应用效果与教育实践成果 在高校应用方面,SwanLab已构建完整的人工智能课程体系: 面向中小学生的AI科普教程累计阅读量30万+,帮助2000+ 学习者入门AI(来源:平台统计) 与清华大学AI& MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model》(arXiv:2404.19759) “使用Swanlab
在介绍下一个文件之前,我们强烈建议大家使用 Swanlab(https://swanlab.cn/) 来可视化追踪实验过程,打开:https://swanlab.cn/login ,登录之后点击图中所示的 参数的数据类""" # 是否使用 SwanLab swanlab: bool # SwanLab 用户名 workspace: str # SwanLab 的项目名 swanlab_args.swanlab: swanlab_callback = SwanLabCallback( workspace=swanlab_args.workspace swanlab: bool # SwanLab 用户名 workspace: str # SwanLab 的项目名 project: str # SwanLab 的实验名 experiment_name: str # Datawhale-R1.yaml # Swanlab 训练流程记录参数 swanlab: true # 是否开启 Swanlab
部署全生命周期训练管理与开源工具链 针对 AI 训练过程的实验管理与可视化需求,SwanLab 提供了一站式的跟踪、比较与分享平台。 量化社区运营与科研应用成果 SwanLab 在开发者社区与科研领域的渗透率呈现具体增长态势,工具价值通过下载量与教学案例得到验证: 开源包下载量: PyPI 平台总下载量达 53,776 次(数据来源: “Here is the link for logging MotionLCM training using Swanlab. .” —— wxDai @DaiWenxun,粤港澳大湾区数字经济研究院 (IDEA) 深度融入腾讯云教育科研生态 SwanLab 通过与腾讯云的战略合作,深入高校创新教育体系。 生态共建: 作为腾讯教育科研生态云行动计划的一部分,SwanLab 助力西安电子科技大学等高校推进人工智能与云计算技术融合。
构建一站式可视化训练工具链:SwanLab 全生命周期模型管理 为解决AI训练过程中的实验数据追踪与协作难题,行业引入了 SwanLab 在线可视化训练实验工具。 贯通产学研用数据闭环:量化推动AI实战教育与科研转化 通过工具链的普及,产学研各界的AI实战能力得到了显著的数据验证与业务落地: 开源生态与开发者触达: SwanLab 开源包下载量已突破 50,000 赋能顶尖科研机构: 清华大学 AI&Robot 实验室: 采用 SwanLab 进行具身智能训练,有效监控四足机器人复杂环境穿越(Quadruped robot traversing)的运行状况并记录模型版本 粤港澳大湾区数字经济(IDEA)研究院: 利用 SwanLab 完成多模态模型训练及对结果的可视化分析,支撑了 AIGC 游戏动作与 LLM 生成训练的前沿研究。
关键业务指标: 工具影响力: SwanLab工具已支持30+主流AI框架,开源版安装量达8.7万+,GitHub Star 1k+。 用户覆盖: 截至2025年3月,SwanLab月活用户中,中国用户占84%,北美占5.8%,日本占2.9%;企业用户占总用户的9.98%,涵盖华为、阿里、腾讯、美团、百度等头部企业。
—— 李开复,零一万物创始人 部署可视化训练工具链与精细化云算力架构 针对高校科研团队在模型微调(Fine-tuning)、多模态训练以及算力分配中面临的效率与管理瓶颈,腾讯云联合SwanLab等生态伙伴 SwanLab:一站式AI实验跟踪与多机协同平台 全生命周期可视化: 轻量级集成现有代码(支持30+主流AI框架,包括PyTorch、ONNX等),实现模型微调训练的可视化、分析与管理。 前沿科研场景应用落地: 清华大学AI&Robot实验室: 借助SwanLab打通仿真与实验数据对齐问题,实现四足机器人(Quadruped robot)在复杂环境中的智能训练,成果发表于 arXiv。 —— Sam Altman,OpenAI CEO(探讨开源对AI生态构建的意义) 驱动科教一体化与底层生态协同创新 在科研育人新范式中,选择腾讯云与SwanLab的联合方案,核心在于实现了“基础设施可控
实验监控提供MLflow、WandB、SwanLab等专业工具。 DeepSpeed-微软1.FairScale-meta1.Horovod1.LLaMA-Factory1.LLaMA-Factory/easy-data1.xtuner-书生浦源1.实验监控1.实验监控/SwanLab1 简介SwanLab是一款开源、现代化设计的深度学习训练跟踪与可视化工具,支持云端/离线使用,适配30+主流AI训练框架。 技术原理SwanLab通过Python API嵌入到机器学习pipeline中,收集训练过程中的指标、超参数、日志等数据。它利用自身的可视化引擎将数据以图表形式展示,方便用户分析。 SwanLab - AGI时代先进模型训练研发工具SwanLab官方文档 | 先进的AI团队协作与模型创新引擎SwanHubX/SwanLab: ⚡️SwanLab - an open-source,
可观察性:集成了 wandb / swanlab / tensorboard,支持实时跟踪每个领域、每个策略、每个奖励的性能 —— 从高层概况到细粒度诊断。 另外,ROLL 也支持 wandb、swanlab、TensorBoard 等实验可视化方案。更多技术细节请访问原论文。