![封面.png](https://developer.qcloudimg.com/http-save/yehe-7363958/0460da7a0b68695afd936edd981210df.png)

> 温馨提示：另有配套视频版，附带图解演示，观感不同，欢迎到各大视频平台搜索【蛋先生说识】

## BF16 是啥？

丹尼尔：蛋兄，我前几天刷到一个知识点——现在大模型的参数，训练后保存下来基本都是`BF16`格式。也就是说，一个数字只用 16 个 bit 来存？16 位是怎么存的？BF 又是什么意思？我脑子里全是问号！

蛋先生：`BF16` 中的 BF 指的是 Boy Friend

丹尼尔：？？？

蛋先生：哈哈，开玩笑的！是指 Brain Float，浮点数的一种存储设计。为什么是 Brain 呢？因为它是由 Google Brain 团队设计的——也许，这就是开发者最单纯的追求：自豪感。那为什么要设计 BF16 呢？它是为深度学习量身定做的，之所以会出现，就是因为当时的现状不太理想。那当时的现状指的是什么呢？就是 `FP16`。所以我们只要搞懂了 FP16，自然也就理解了 BF16

丹尼尔：好家伙，自问自答一圈，赶紧开讲吧，哈哈！

蛋先生：简单说就是把 16 个 bit 分成三部分：1 个符号位（S）、5 个指数位（E）、10 个尾数位（M）

---

## 浮点数原来是这样？

丹尼尔：等会儿，尾数位我能理解，就是小数点后面的数字嘛。但这指数位是什么鬼？为什么不直接搞个"整数位"，像 3.14 那样整数部分和小数部分分开存？

蛋先生：好问题！你这个思路其实叫"定点数"。整数位和小数位各自固定，乍一看很直观

丹尼尔：不应该这样吗？

蛋先生：但它的致命伤就是"鱼与熊掌不可兼得" - 就是你很难同时去表达一个极大的数值和无限趋近于 0 的极小数值。你想啊，假如 15 位全给整数部分（就是二进制 15 个 1，请自行计算验证），那最大值也就 32767，小数一个都表示不了。反过来全给小数位，连个大于 1 的数都表示不了哦

丹尼尔：(⊙ˍ⊙) 那岂不是要么只能数星星，要么只能数细菌？太极端了！

蛋先生：所以聪明的人类发明了"浮点"（Floating Point）——通过指数位来移动小数点，左移缩小、右移放大，相当于给数字加了一个"缩放因子"

丹尼尔：哦～"浮点"这个名字原来是这么来的，小数点可以浮动！那具体怎么算呢？

蛋先生：公式长这样：
```
V = (-1)^S × 2^(E-15) × (1.M)₂（即 V = (−1)ˢ × 2ᴱ⁻¹⁵ × (1.M)₂）
```
S 是符号位，决定正（S 为 0 时值为 1）负（S 为 1 时值为 -1）；E 是指数位；M 是尾数位（比如 1.101..101，如果 M=15，即 1.xxx 就有 15 个 0 和 1 组成的二进制数字）

---

## 指数位怎么理解？

丹尼尔：等下，为什么指数是 `E-15`？这个 15 是哪里冒出来的？

蛋先生：我们既需要正的指数来放大数字，也需要负的指数来缩小数字（简单理解就是指数多少，就将小数点移动多少。比如 1.01 * 2¹ 就是将小数点往右移动一格，就变成 10.1）。如果直接存正负符号，机器还得额外处理符号，又折腾又浪费空间

丹尼尔：那咋办？

蛋先生：指数位是 5，5 个 bit 有多少个 1 和 0 的组合？就是 2⁵，所以它能表示 32 个数，从 0 到 31。取个中间值 15 作为偏移量（Bias）。指数存 13（二进制 01101），实际指数就是 13 - 15 = -2；存 17（二进制 10001），实际指数就是 17 - 15 = 2。按照 `IEEE 754` 规约数规范（只需要知道就是一种规范就行了），E 的取值是 1~30（E=0 和 E=31 被保留给了零/非规约数和无穷/NaN）。所以**真实指数范围是 -14 到 +15**（严谨讲是规约数规范下的范围）

丹尼尔：哇塞，这也太巧妙了！

蛋先生：这样的设计也可以让指数直接按无符号整数比较大小，大幅简化了浮点数比较的硬件电路设计（就不展开说了，越说越蒙圈）

---
## 隐式前导位的巧妙设计

丹尼尔：那 (1.M)₂ 里面的 1 又是什么？

蛋先生：这是最妙的地方——这个 1 叫"隐式前导位"。按照 IEEE 754 规范，规约数永远在前面有个 1，比如 1.10101... 但它不用存！机器自动认，凭空省了 1 个 bit

丹尼尔：(ﾟДﾟ*) 还能这样操作？但这样好像无法表示 0 值？

蛋先生：眼睛很尖嘛。看公式计算 `2¹⁻¹⁵ × 1.0 = 2⁻¹⁴ ≈ 0.000061035`，这是它能表示的最小正值，所以确切地说，是无法表示靠近 0 的极小数值。实际应用中，如果遇到非规约数，会有各种各样的解决方案，这里就不展开了内容

---
## 指数位多少才合适？

丹尼尔：那我还有一个疑问：指数位为什么偏偏是 5 位？是拍脑袋决定的还是精心设计的？

蛋先生：当然不是拍脑袋。指数位越多 → 数值范围越大，但尾数位就少了 → 精度下降。反过来也一样。5 位是指数范围和精度，根据当时的应用场景权衡出来的结果（具体当时主要是什么应用场景？当时又是如何权衡？感兴趣的话自个回头问问 AI 哈）

丹尼尔：等等，那开头说的 BF16 呢？讲了半天 FP16，BF16 到底怎么回事？

蛋先生：别急，铺垫到这了。你想啊，FP16 这么好用，为什么还要搞个 BF16 出来？

丹尼尔：对啊，吃饱了撑的？

蛋先生：问题出在"训练"上。模型训练用的是 FP32（32 位浮点），指数位有 8 位。而 FP16 才 5 位。保存时如果使用 FP16，那肯定会各种溢出，就好比蛇吞象一样

丹尼尔：那 BF16 怎么解决？

蛋先生：BF16 就是 1 位符号 + 8 位指数 + 7 位尾数。指数位和 FP32 完全一致，所以 BF16 的数值范围跟 FP32 一模一样，从 FP32 转 BF16 几乎零成本。代价是尾数位少了，精度降了——但深度学习对精度不敏感，对范围更敏感

丹尼尔：从定点到浮点，从 FP16 到 BF16，无不体现着人类的智慧啊！

蛋先生：(￣▽￣)~*

温馨提示：另有配套视频版，附带图解演示，观感不同，欢迎到各大视频平台搜索【蛋先生说识】

大模型参数存储格式揭秘：BF不是男朋友

大模型的参数一般都用 BF16 存储。BF16 是一种浮点数格式，那它到底是怎么存数据的？今天，我们就来扒一扒浮点数那些精妙设计——小数点会漂移、前导位能省则省，一路看到 BF16 上位的真相

前端研发

人工智能

编程语言

BF16是Google Brain团队为深度学习设计的16位浮点格式，1位符号+8位指数+7位尾数，指数范围与FP32一致，解决FP16训练溢出问题，精度略降但范围更广，适合大模型参数存储。

2026上云采购 | AI焕新·智启新局

tione

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

大模型参数存储格式揭秘：BF不是男朋友-腾讯云开发者社区-腾讯云

大模型参数存储格式揭秘：BF不是男朋友

大模型参数存储格式揭秘：BF不是男朋友

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐