你瘦不下来但大模型可以：量化原理了解一下

蛋先生DX 2026-08-18 0 阅读7分钟

温馨提示：另有配套视频版，附带图解演示，观感不同，欢迎到各大视频平台搜索同名标题或【蛋先生说识】

什么是量化？

丹尼尔：蛋兄，最近在折腾大模型本地部署，经常遇到 "量化" 这个词，一直没搞懂到底是什么

蛋先生：就是用大模型量化交易啊，搞钱！

丹尼尔：真的？

蛋先生：(ಡωಡ) 假嘟，哈哈。此量化非彼量化啦

丹尼尔：额，那到底什么是量化？

蛋先生：打个比方吧——量化就像把 4K 高清视频压成 720P，文件小了，硬盘省了，内存也省了。虽然画质有点损失，但大部分时候你看剧根本感觉不到差别

量化的基本原理

丹尼尔：哦，原来是给大模型"瘦身"啊！那具体是怎么压缩的呢？

蛋先生：核心思路就是把位数多的浮点数（比如 FP16），映射成位数更少的整数（比如 INT8、INT4）来存储（不了解 FP16 的同学，可以先去各大平台搜索 《大模型参数存储格式揭秘：BF不是男朋友》补个基础）

丹尼尔：哦，那如何映射？

蛋先生：假设有一组浮点数：[-0.20, -0.14, -0.09, -0.05, -0.02, 0.00, 0.03, 0.07, 0.11, 0.15, 0.18, 0.20]，值范围是 [-0.2, 0.2]。现在要把它们映射到 5 个整数编码 -2、-1、0、1、2，你会怎么分？

丹尼尔：(￣.￣) 容我思考片刻...！算了，你还是直接说答案吧

蛋先生：先把 [-0.2, 0.2] 这个区间五等分，每份交界处打个刻度，再给每个刻度贴上整数标签：

刻度位置	−0.2	−0.1	0	0.1	0.2
整数标签	-2	-1	0	1	2

量化的规则很简单：每个浮点数看自己离哪个刻度最近，就贴上那个刻度的整数标签

原始浮点	最近的刻度	贴上标签
-0.20	−0.2	-2
-0.14	−0.1	-1
-0.09	−0.1	-1
-0.05	−0.1	-1
-0.02	0	0
0.00	0	0
0.03	0	0
0.07	0.1	1
0.11	0.1	1
0.15	0.2	2
0.18	0.2	2
0.20	0.2	2

丹尼尔：哇, amazing！这样存储确实省了不少空间。但怎么把整数还原成浮点数呢？

蛋先生：大模型推理时，大部分情况下的确是需要把整数权重"反量化"回浮点数来计算（少数情况下是可以直接用整数计算的），这个等讲到公式时再细聊

对称 INT4 / INT8 量化

丹尼尔：原理大概听懂了，可以再深入一点

蛋先生：量化方案有很多（GPTQ / AWQ / llama.cpp 等），但它们共享同一个底层基石：对称 INT4 / INT8 量化。下面我通过一个完整的演算示例带你走一遍

丹尼尔：真贴心，赶紧开讲

蛋先生：假设我们有一组 FP16 格式的权重参数，范围是 w ∈ [−0.2, 0.2]。准备用 INT4 量化。4 bit 有符号整数用二进制补码表示，编码范围是 q ∈ [−8, −7, ... 0 ... 6, 7]

丹尼尔：等等，为什么是 [−8, −7, ... 0 ... 6, 7]，而不是 [−7, ... 0 ... 6, 7, 8]

蛋先生：这是二进制补码硬件标准，自行问 AI 去吧，这里不展开讲了

丹尼尔：好好，您继续

蛋先生：零偏移 zₚ = 0（这正是「对称」的含义：0 轴两侧的编码范围相对零点完全对称映射）。我们的目标只有一个：算出 scale，通过它才能让 INT4 跟 FP16 之间互转

丹尼尔：目前为止，云里雾里的

蛋先生：别急，一步步来

步骤 1：统计原始权重极值

蛋先生：第一步简单，先找出权重参数的最大值和最小值

丹尼尔：这个例子是 wₘᵢₙ = −0.2，wₘₐₓ = 0.2

步骤 2：计算最大绝对值 A

蛋先生：好助手。第二步，求两个原始权重极值的最大绝对值 A

丹尼尔：这我也会，A = max(|wₘₐₓ|, |wₘᵢₙ|) = max(0.2, 0.2) = 0.2

步骤 3：计算 scale

蛋先生：第三步，采用行业标准公式 s = A / 7

丹尼尔：等等，为啥是 7？INT4 编码不是 −8 到 7 吗？

蛋先生：关键就在这——7 是最大的正编码，我们想让最大的浮点数权重 A 完美对应到 q = 7，这样正方向不浪费任何编码空间

丹尼尔：没听懂

蛋先生：套公式看看 s = 0.2 / 7

验证一下：q = 7 ⇒ ŵ = 7 × s = 7 × 0.2 / 7 = 0.2，刚好对上。这就是反量化，后面再聊

丹尼尔：那为什么不能拿 ‑8 来算 scale？比如 s = A / 8？

蛋先生：问得好。我们来试一把 s = 0.2 / 8 = 0.025。正向最大编码还是 7，7 × 0.025 = 0.175。但我们真实权重最大值是 0.2，0.2 > 0.175，正向直接溢出，权重直接失真

丹尼尔：明白了

蛋先生：scale 拿到了，我们算下最关键的：最小值 q = −8 对应多少？−8 × 0.0285714 ≈ −0.22857

丹尼尔：下限 −0.22857 比 −0.2 还多出来一截？

蛋先生：没错，−8 这个编码档位其实是闲置的，因为没有权重参数会落到这个区间。这就是对称量化的一个小代价：正数侧最大可用编码只有 7，scale 分母只能用 7，导致必然有一个编码用不上

步骤 4：量化 — 浮点转整数

丹尼尔：好像有点理解 scale 了，它有点像一把尺子上的刻度之间的距离，相邻刻度之间的距离就是 scale

蛋先生：恩，理解得很到位。有了 scale，就可以来计算浮点数到整数编码的转换了。公式如下：

w_int = clip( round(w_float / scale), Qmin, Qmax )

丹尼尔：一看公式就头疼

蛋先生：其实很简单，就三步：除 scale → 四舍五入 → 截断。

除 scale：把浮点值按 scale 切分，算出它落在哪一档

四舍五入：可以算出它离这一段的两个头尾的整数编码哪个更近

截断：防御性编程，确定结果落到合法的范围（比如 INT4 的合法区间就是 [−8, 7]），小于最小值就取最小值，大于最大值就取最大值。对称量化的场景下，截断基本不会触发

丹尼尔：你还是举一些例子吧

蛋先生：正负两个浮点数，各一个示例吧

例 1：w = 0.1

① 除 scale：`w / s = 0.1 ÷ 0.0285714 ≈ 3.5`

② 四舍五入：`q = round(3.5) = 4`

③ 截断至 [−8, 7]：4 在区间内，无需截断

例 2：w = −0.18

① 除 scale：`w / s = −0.18 ÷ 0.0285714 ≈ −6.3`

② 四舍五入：`q = round(−6.3) = −6`

③ 截断至 [−8, 7]：−6 在区间内，无需截断

步骤 5：反量化 — 整数转回浮点

丹尼尔：看明白了。那量化完后，推理时怎么把整数变回浮点数呢？

蛋先生：直接用重建公式 ŵ = q × s，一步搞定

例 1 反量化：ŵ = 4 × 0.0285714 ≈ 0.11428

例 2 反量化：ŵ = −6 × 0.0285714 ≈ −0.17143

丹尼尔：咦？0.1 回去变成 0.11428，−0.18 变成 −0.17143，误差还不小？

蛋先生：这就是量化的代价嘛 (─.─||)。INT4 总共就 16 个取值档位，精度有限。比如 0.1 恰好落在 q=3 和 q=4 的正中间，往 4 靠就有了这个误差

存在什么问题？

丹尼尔：这种量化方式会有哪些问题呢？

蛋先生：有一些

比如权重分布如果不相对 0 轴对称——像 [0, 0.2] 这种全是正数的，对称量化会让 −8 到 −1 这 8 个编码直接荒废掉。这时就得用非对称量化了

再比如权重里混进了极端离群值，比如 [0.10, 0.12, 0.08, 0.11, 0.09, 0.80]，全局 scale 会被 0.8 撑大，0.1 附近的参数全挤到同一档。解决方案是分组量化，各组独立算自己的 scale，把极端值的影响控制在一个小组内

丹尼尔：感觉脑袋快要装不下了……

蛋先生：我觉得不止你，正在看这篇文章的朋友们，应该也快打盹了 (─.─||)。今天就到这，有缘再聊！

丹尼尔：拜拜！

写在最后

亲们，都到这了，要不，点赞 / 收藏 / 关注支持下我呗 o(￣▽￣)ｄ