四王爷

文章/答案/技术大牛

发布

LV2

发表了文章 16小时前2026-10-02 15:08:42

ΔE：能耗数字为什么看差值，不看绝对值

先给定义。ΔE%，量化模型相对 FP16 基线的能量变化：(E_量化 − E_基线) ÷ E_基线 × 100%。正数更费电，负数省电，贴近零算持平。我的 GP...

四王爷 16小时前2026-10-02 15:08:42

WorkBuddy开发者分享季、量化、token

发表了文章 20小时前2026-10-02 11:28:24

Jevons is now a product name

2026 年 9 月 15 日，一家叫 TypeSafe AI 的公司发布了 Jev。命名者是诚实的——Jev 取自杰文斯悖论（Jevons paradox）：...

四王爷 20小时前2026-10-02 11:28:24

WorkBuddy开发者分享季、token、云 API

发表了文章 1天前2026-10-01 15:35:02

量化到底省不省电：2023–2025 大模型推理能耗研究综述

一句话版本：这是一个吵了三年的问题，答案从"省"变成了"取决于"——而"取决于什么"，恰好是 2025 年最有意思的进展。本文整理 2023–2025 年约 3...

四王爷 1天前2026-10-01 15:35:02

kernel、nvm、WorkBuddy开发者分享季、gpu

关注了用户 2天前2026-09-30 19:53:28

尘埃

16 文章14 回答20 关注者

发表了文章 2天前2026-09-30 18:58:29

我给自己创建的 AI 专家做了一套验收测试：4 道题、3 个陷阱、1 份评分表

我在 WorkBuddy 专家中心创建了一个大模型能耗监控方向的专家——它基于我们团队公开的推理能耗实测数据集，回答"该不该量化"这类问题：给我 GPU 型号、...

四王爷 2天前2026-09-30 18:58:29

WorkBuddy开发者分享季、大模型部署、gpu

关注了用户 2天前2026-09-30 08:46:22

码林拾遗

15 文章0 回答9 关注者

发表了文章 2天前2026-09-30 08:12:55

量化 LLM 推理真的省电吗？我在五张 GPU、四代架构上直接测了测

做 LLM 部署的人大多有个默认假设：量化降低了显存占用和内存带宽压力，所以推理更省电。这个假设在论文和工程实践里被反复引用，但真正直接测过的很少——大部分"量...

四王爷 2天前2026-09-30 08:12:55

WorkBuddy开发者分享季、大模型部署、gpu、量化

发表了文章 3天前2026-09-29 13:45:05

量化的 LLM 不一定省电：我把结论拆成了六个可单独引用的工件

做 LLM 推理优化时，多数人默认"权重低比特量化 = 省电"。我用 NVML 直接读功耗测了一轮后发现：低于某个模型规模的交叉点，NF4 反而更费电；而且这个...

四王爷 3天前2026-09-29 13:45:05

WorkBuddy开发者分享季、LLM、量化、gpu

发表了文章 12天前2026-09-20 17:30:26

省电数字会过期：同一张 5090，九个月，盈亏平衡点挪了 3B

之前那篇 4090 博客的结论是：决定量化省不省电的不是位宽，是 kernel。这周在 RTX 5090 上的补测把它再推半步——连 kernel 的版本号都算...

四王爷 12天前2026-09-20 17:30:26

WorkBuddy开发者分享季

发表了文章 13天前2026-09-19 14:32:20

量化不一定省电：我们在 RTX 4090 上实测了 INT8，它比 FP16 多耗 50%–242% 的能量

结论先行：在 RTX 4090 上用 bitsandbytes 的 LLM.int8() 做 7B 以下模型的解码推理，每一个模型尺寸都没有省电，反而多耗 50...

四王爷 13天前2026-09-19 14:32:20

WorkBuddy开发者分享季、量化、大模型部署

发表了文章 16天前2026-09-16 13:54:33

一张图读懂：量化到底什么时候省电

这张图叫 crossover curve，横轴是模型规模（1.1B–7B），纵轴是 NF4 量化相对 FP16 的每 token 能耗变化：零线以上是正数，量化...

四王爷 16天前2026-09-16 13:54:33

WorkBuddy开发者分享季、大模型部署、量化

发表了文章 17天前2026-09-15 16:18:47

Pin 会腐烂：一次 Colab 冒烟测试暴露的环境漂移

给一个「在免费 Colab T4 上测量 LLM 推理能耗」的 notebook 做首跑验收。验收表三条硬指标全过：CUDA 可用、NVML 功率遥测正常、空闲...

四王爷 17天前2026-09-15 16:18:47

python、WorkBuddy开发者分享季、大模型部署

发表了文章 17天前2026-09-15 10:54:24

量化省电吗？答案在 kernel，不在比特数

"4-bit 量化能省多少电？"——这个问题可能就问错了。我们在一张 RTX 4090 上对 Llama-3.1-8B-Instruct 做了对照测量：同为"压...

四王爷 17天前2026-09-15 10:54:24

大模型部署、WorkBuddy开发者分享季、量化

发表了文章 21天前2026-09-11 10:47:57

量化大模型的能耗与质量：同一次运行里的两本账

量化大模型省电吗？我们在一张 RTX 4090 上做了配对实验：五个规模（0.5B–7B），NF4 与 INT8 两种量化，每次运行同时记录能耗与困惑度，FP1...

四王爷 21天前2026-09-11 10:47:57

大模型部署、WorkBuddy、WorkBuddy开发者分享季

发表了文章 22天前2026-09-10 20:01:19

在租来的 RTX 4090 上实测 LLM 量化能耗：NF4 过了 3B 才省电，INT8 全军覆没

量化能省显存，但省不省电？为了回答这个问题，我们租了一张 RTX 4090（24GB），用自己写的开源测量容器跑了一下午：5 个模型（0.5B–7B）× 3 种...

四王爷 22天前2026-09-10 20:01:19

WorkBuddy开发者分享季、大模型部署、WorkBuddy

发表了文章 23天前2026-09-09 19:42:26

# 小模型量化反常识：为什么 4-bit 推理可能更费电？

做大模型部署的人几乎都会做一件事：量化。把权重从 FP16 压到 NF4 或 INT8，显存降了，推理能跑了，皆大欢喜。显存的故事确实如此——但能耗的故事不是。

四王爷 23天前2026-09-09 19:42:26

WorkBuddy、大模型部署

发表了文章 24天前2026-09-08 16:44:49

# LLM 量化到底省不省电？我造了一个实测专家替你算

做 LLM 推理部署的人都会默认一件事：模型量化 = 省显存 = 省电。但我在 5 款消费级 GPU 上、从 0.5B 到 14B 的模型里跑了 42 组实测数...

四王爷 24天前2026-09-08 16:44:49

大模型部署、gpu、WorkBuddy

个人简介

暂未填写公司和职称
独立开发者
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2022-06-30

个人成就

获得 13 次赞同
文章被阅读 1.5K 次

关注了：2关注者：14

四王爷