# 一、 Token 到底是什么？

计算机不认识文字，只认识数字。所以在模型处理任何文本之前，都要先经过一道**分词（Tokenization）**工序：把连续的文字切成一个个最小处理单元，这个单元就叫 **Token**。

一个 Token **不一定等于一个字或一个词**，它可能是：

- 一个完整的英文单词，如 `apple`
- 一个单词的一部分（子词），如 `playing` → `play` + `ing`
- 一个汉字或半个词，如 `苹` `果`
- 一个标点、空格，甚至一个 emoji

之所以采用"子词（Subword）"这种不完整的切法，是为了在**词表大小**和**表达能力**之间取得平衡：既不用为每个完整单词都单独建一个编号（那样词表会爆炸），又能通过组合子词表示几乎任何生僻词、新词甚至拼写错误。目前主流的分词算法是 **BPE（Byte Pair Encoding，字节对编码）** 及其变体。

# 二、 一段文字会被切成多少 Token？

不同语言、不同分词器，切出来的数量差别很大。一个粗略的经验值（以 OpenAI 的分词器为例）：

| 内容 | 大致 Token 数 |
|------|------|
| 1 个英文单词 | ≈ 1.3 个 Token |
| 1 个汉字 | ≈ 1~2 个 Token |
| 100 个英文单词 | ≈ 130 个 Token |
| 1000 个汉字的中文段落 | ≈ 1500~2000 个 Token |

### token demo
 可以直观看到大模型是如何进行token分词的
![image.png](https://developer.qcloudimg.com/http-save/yehe-9980940/8d468713b0055e6fbc4b786493989bf0.png)

> 小提示：可以用 OpenAI 的 [ tokenizer工具](https://platform.openai.com/tokenizer) 或 `tiktoken` 库，直观地看到任意文本是怎么被切分的。
# 三、 为什么你必须关心 Token？

Token 不是纯理论概念，它直接影响你的**使用成本和体验**：

1. **计费按 Token 算**：几乎所有大模型 API 都是**按输入 + 输出的 Token 总数计费**，而不是按字数或次数。中文通常比同等信息量的英文更"费 Token"，因此同样一段话，用中文提问往往比英文略贵。
2. **上下文窗口以 Token 为单位**：模型一次能"看到"的内容有上限，即**上下文窗口（Context Window）**，如 8K、128K、200K 指的都是 Token 数。输入 + 输出加起来不能超过这个上限，超了就要截断或报错。
3. **响应速度与 Token 相关**：模型是逐 Token 生成的，输出越长（Token 越多），等待时间越久。
4. **"字数限制"其实是 Token 限制**：当你觉得模型"没读完"你的长文档，很可能就是内容超出了它的 Token 上限。

# 四、从 Token 到向量：模型如何"理解"它

切分出 Token 后，还要再做一步**向量化（Embedding）**：每个 Token 会被查表映射成一串数字（通常是几百到上万维的向量）。这串数字编码了该 Token 的语义，使得**语义相近的词在向量空间里距离也更近**——"猫"和"狗"离得近，"猫"和"银行"离得远。

至此，一句人类语言就被彻底转换成了模型能计算的数字矩阵。之后所有的"思考"（注意力计算、逐层传递、预测下一个 Token）都在这些数字上进行。可以说：

> **Token 是大模型认识世界的"文字"，向量是它理解世界的"含义"。**


计算机不认识文字，只认识数字。所以在模型处理任何文本之前，都要先经过一道分词（Tokenization）工序：把连续的文字切成一个个最小处理单元，这个单元就叫 Token。

深入理解 Token：大模型的"基本单位"

人工智能

Token是AI处理文本的最小单元，影响模型使用成本与体验。不同语言分词差异大，中文通常比英文更费Token。Token数量直接关联API计费、上下文窗口限制和响应速度。了解Token机制能优化AI使用效率，控制成本。主流分词采用BPE算法，Token经向量化后转换为语义数字矩阵，成为AI理解语言的基础。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

深入理解 Token：大模型的"基本单位"-腾讯云开发者社区-腾讯云

深入理解 Token：大模型的"基本单位"

深入理解 Token：大模型的"基本单位"

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐