- 综合排序
- 最热优先
- 最新优先
- 来自专栏Michael阿明学习之路
ChatGLM-6B 安装试用
地址： https://github.com/THUDM/ChatGLM-6B https://huggingface.co/THUDM/chatglm-6b git clone https:// github.com/THUDM/ChatGLM-6B conda create -n chatglm python=3.8 conda activate chatglm cd ChatGLM-6B/ ChatGLM-6B：可以用鸡肉代替猪肉做鱼香肉丝，鸡肉的口感和味道与猪肉相似，也比较容易制作出嫩滑的口感。 ChatGLM-6B：当然可以！ ChatGLM-6B：没有猪肉，可以用鸡肉代替。鸡肉是一种营养丰富、味道不错的食材，可以用来制作各种菜肴。以下是一些可以用鸡肉代替猪肉的做法： 1.
1.5K50编辑于 2023-04-24 - 来自专栏开源心路
ChatGLM-6B使用、微调、训练
ChatGLM-6B 参考了 ChatGPT 的设计思路，在千亿基座模型 GLM-130B 中注入了代码预训练，通过有监督微调等技术实现与人类意图对齐（即让机器的回答符合人类的期望和价值观）。 不同于训练ChatGPT需要1万+ A100显卡，ChatGLM-6B可以单机运行在消费级显卡上（13G可运行，建议16-24G显卡），未来使用空间大。 https://github.com/THUDM/ChatGLM-6B模型3月14日开源后，Github Star增速惊人，连续12天位列全球大模型下载榜第一名。 -6b",trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm-6b",trust_remote_code=True bash train.sh Thinking：将 train.sh 中的 THUDM/chatglm-6b 改为本地的模型路径 (参考train2.sh) Thinking：如何使用训练好的ChatGLM
2.4K20编辑于 2024-01-13 ChatGLM-6B的api脚本
return answer if __name__ == '__main__': tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm -6b", trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code model.eval() uvicorn.run(app, host='0.0.0.0', port=8000, workers=1) 代码来自：https://github.com/THUDM/ChatGLM
29110编辑于 2025-07-17- 来自专栏机器学习
Mac 配置ChatGLM-6B环境
背景最近要做一些关于NLP相关的工作和比赛，因此要用到语义分析这类模型，ChatGPT虽然很强大，奈何不太适合在工作和国内的环境中使用，因此需要用到一些平替的模型，比如ChatGLM-6B。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。 经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。 我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。 ，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。
71400编辑于 2024-02-07 - 来自专栏追不上乌龟的兔子
本地部署ChatGLM-6B
今天在自己的 PC 上部署和体验了ChatGLM-6B的推理服务，简单记录一下流程。 ChatGLM-6B 简介 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。 硬件环境 我的 PC 使用的是 RTX 2060 Super 显卡，具有 8GB 显存，可以满足 ChatGLM-6B 的部署要求。 -6B 模型 直接通过 git clone 将 ChatGLM-6B 仓库克隆到本地。
4.6K30编辑于 2023-05-01 chatglm-6b on ubuntu 本地部署
显卡：NVIDIA Corporation GA106 GeForce RTX 3060 Lite Hash Rate (rev a1) (prog-if 00 VGA controller)
50210编辑于 2024-09-23- 来自专栏程序随笔
聊聊ChatGLM-6B的源码分析
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ PrefixEncoder
96110编辑于 2024-01-09 - 来自专栏程序随笔
聊聊ChatGLM-6B医疗数据微调
开源库下载 在服务器上通过git一键下载即可： ChatGLM-6B下载 直接在服务器上，通过魔塔社区的sdk下载代码一键下载即可： 我加了一句代码打印出下载地址，然后通过mv命令拷贝到指定路径下 #模型下载 from modelscope import snapshot_download model_dir = snapshot_download('ZhipuAI/ChatGLM-6B') print
77210编辑于 2024-03-17 - 来自专栏xiaosen
ChatGLM-6B微调推理实战
ChatGLM-6B是一个由清华大学和智谱AI联合研发的开源对话语言模型，它基于General Language Model（GLM）架构，具有62亿参数，并支持中英双语问答。 from transformers import AutoTokenizer, AutoModel >>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm -6b", trust_remote_code=True) >>> model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code 我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。 ⭐️下载ChatGLM-6B 1️⃣Modelscope下载：ChatGLM下载 2️⃣ 阿里云OSS存储：（加快下载速度）其他云也一样 import os dsw_region = os.environ.get
40710编辑于 2024-08-24 - 来自专栏程序随笔
聊聊ChatGLM-6B源码分析(二)
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ ChatGLMPreTrainedModel
69910编辑于 2024-01-13 - 来自专栏MavenTalk
ChatGLM-6B大模型微调实战总结
上篇我们已经具备了 ChatGLM-6B 初步的运行环境，这为实现完全属于自己的模型奠定了基础（快速部署ChatGLM-6B大模型实战总结），接下来将针对模型进行微调，以便让它真正成为一个定制化智能助手 在这个过程中，我将直接使用官方的P-Tuning v2工具对ChatGLM-6B模型进行参数微调。 安装依赖 进入ptuning目录，通过pip安装依赖 root@VM-0-17-ubuntu:~# cd ChatGLM-6B/ptuning root@VM-0-17-ubuntu:ptuning# /THUDM/chatglm-6b \ --ptuning_checkpoint . 在实践中，我们使用了 ChatGLM-6B 模型，并经历了模型的训练和推理过程。训练模型消耗了相当多的时间，但也让我们体会到了模型训练的复杂性和挑战性。
4.2K43编辑于 2023-09-06 - 来自专栏MavenTalk
快速部署ChatGLM-6B大模型实战总结
-6B root@VM-0-17-ubuntu:~# cd ChatGLM-6B/ 构建conda环境 root@VM-0-17-ubuntu:~# conda create --name chatglm -6B 官方网站 从ChatGLM的官方库中下载，将模型文件我放到工程的 ChatGLM-6B/THUDM 目录下面。 root@VM-0-17-ubuntu:~# cd ChatGLM-6B && mkdir THUDM root@VM-0-17-ubuntu:THUDM# git lfs clone https:// huggingface.co/THUDM/chatglm-6b 模型文件比较大(25G)，这里下载需要的时间很长，请耐心等待，以下是目录下载后模型目录下的文件： 测试 终端运行 Demo 进入ChatGLM Web端运行 进入 ChatGLM-6B 工程的根目录，执行如下命令： root@VM-0-17-ubuntu:ChatGLM-6B# python -m streamlit run web_demo2
2K20编辑于 2023-09-06 - 来自专栏猫头虎博客专区
ChatGLM-6B 大模型的前世今生
ChatGLM-6B 介绍 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。 ChatGLM-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。 想让 ChatGLM-6B 更符合你的应用场景？欢迎参与 Badcase 反馈计划。 支持 ChatGLM-6B 和相关应用在线训练的示例项目： ChatGLM-6B 的部署与微调教程 ChatGLM-6B 结合 langchain 实现本地知识库 QA Bot 第三方评测： Measuring 将模型下载到本地之后，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。 Optional 模型的实现仍然处在变动中。 ChatGLM-6B 示例 以下是一些使用 web_demo.py 得到的示例截图。更多 ChatGLM-6B 的可能，等待你来探索发现！
1.5K10编辑于 2024-04-08 - 来自专栏程序随笔
聊聊 从源码来看ChatGLM-6B的模型结构
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构 transformer结构： 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ 位置编码 ChatGLM-6B的位置编码采用的旋转位置编码(RoPB _apply(fn) ## 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ 激活函数 ChatGLM-6B采用的激活函数是GeLU(高斯误差线性单元)， from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm -6b", trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code
2.8K10编辑于 2024-01-07 - 来自专栏程序员树先生
ChatGLM-6B 部署与 P-Tuning 微调实战
概念科普 ChatGLM-6B 是什么？ ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。 下载源码 git clone https://github.com/THUDM/ChatGLM-6B 安装依赖 cd ChatGLM-6B # 其中 transformers 库版本推荐为 4.27.1 https://huggingface.co/THUDM/chatglm-6b /mnt/workspace/chatglm-6b 参数调整 # 因为前面改了模型默认下载地址，所以这里需要改下路径参数 -6B ChatGLM-6B 环境已经有了，接下来开始模型微调，这里我们使用官方的 P-Tuning v2 对 ChatGLM-6B 模型进行参数微调，P-Tuning v2 将需要微调的参数量减少到原来的 并将模型路径 THUDM/chatglm-6b 改为你本地的模型路径。
4.6K63编辑于 2023-05-06 - 来自专栏程序员树先生
基于 ChatGLM-6B 搭建个人专属知识库
ChatGLM-6B 部署与 P-Tuning 微调实战 今天树先生教大家无需微调就能实现垂直领域的专业问答，利用 ChatGLM-6B + langchain 实现个人专属知识库，非常简单易上手。 requirements.txt 下载模型 # 安装 git lfs git lfs install # 下载 LLM 模型 git clone https://huggingface.co/THUDM/chatglm -6b /your_path/chatglm-6b # 下载 Embedding 模型 git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese "chatglm-6b-int4": "THUDM/chatglm-6b-int4", "chatglm-6b-int8": "THUDM/chatglm-6b-int8", "chatglm -6b": "/your_path/chatglm-6b", } 项目启动 Web 模式启动 pip install gradio python webui.py 模型配置 上传知识库 知识库问答
4.3K155编辑于 2023-05-16 - 来自专栏自然语言处理
InstructGLM:基于ChatGLM-6B在指令数据集上进行微调
9倍具体设置可见 微调3 基于DeepSpeed进行Lora微调 2023/3/28 开源了基于alpaca和belle数据指令微调后的lora权重，详情可见output 2023/3/25 针对ChatGLM 模型训练 基于原始chatglm-6b训练 python train_lora.py \ --dataset_path data/belle \ --lora_rank 8 \ guanaco-model.github.io/ https://github.com/carbonz0/alpaca-chinese-dataset https://github.com/THUDM/ChatGLM -6B https://huggingface.co/THUDM/chatglm-6b https://github.com/lich99/ChatGLM-finetune-LoRA Bugs gcc版本升级
1.5K40编辑于 2023-08-25 - 来自专栏IT杂谈学习
丹摩智算：ChatGLM-6B模型的部署与使用指南
本文将介绍如何在丹摩智算平台上部署ChatGLM-6B模型，并通过Web API的形式使用本地代码调用服务端的模型进行对话。 一、ChatGLM-6B模型简介 ChatGLM-6B是一个基于General Language Model (GLM)架构的对话生成模型，具有62亿参数。 ChatGLM-6B的特点 强大的语言理解与生成能力：ChatGLM-6B能够理解和生成复杂的对话内容。 轻量级的参数量：相较于其他大型模型，ChatGLM-6B具有更少的参数量，便于部署和应用。 二、DAMODEL平台部署ChatGLM-6B 2.1 实例创建 部署ChatGLM-6B的第一步是在丹摩智算平台上创建GPU云实例。进入DAMODEL控制台，选择资源-GPU云实例，点击创建实例。 在终端cd进入ChatGLM-6B文件夹，运行api.py文件。
84110编辑于 2024-09-25 - 来自专栏量子位
如何优化ChatGLM-6B？一行代码就行 | 最“in”大模型
本文结合目前在中文应用场景中具有出色表现的开源预训练大模型 ChatGLM-6B，介绍如何通过对其开源 Prompt-tuning 代码进行极少量的修改，并结合第四代英特尔® 至强® 可扩展处理器[1] 就 ChatGLM-6B 而言，其开源微调代码的 autocast_smart_context_manager() 函数，也已具备对 CPU 自动混合精度的支持。 针对 ChatGLM-6B 微调，试验结果显示：与其他两种模式相比， HBM 高速缓存模式在性能和使用方便性方面均更胜一筹。 在英特尔® 至强® CPU Max 系列产品上，结合之前的两项优化，我们可以通过以下命令行启动 ChatGLM-6B 微调： △图 7. 在拥有 32 个物理核的英特尔® 至强® CPU Max 9462 双路服务器上启动微调 优化结果 通过以上简单软、硬件综合优化，无须采用昂贵的 GPU 硬件，即可实现对 ChatGLM-6B 模型的高性能微调
78330编辑于 2023-09-08 - 来自专栏frytea
在自己的电脑运行清华开源语言模型 ChatGLM-6B
过去这段时间 AIGC 市场竞争异常激烈，各大厂纷纷祭出自家的大预言模型，在这场国产 AI 大乱斗中，清华大学于 2023 年 3 月 28 日发布的开源通用语言模型 —— ChatGLM-6B 显得格外不同 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。 经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
54840编辑于 2023-10-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号