← 返回AI教程
🌐 其他

你瘦不下来但大模型可以:量化原理了解一下

来源:掘金 · 发布于 2026-08-18 19:30:59
此量化不是搞钱的量化,是大模型「瘦身」的秘诀。本期聚焦 GPTQ / AWQ / llama.cpp 等主流量化方案的底层基石——对称 INT4 / INT8 量化原理。从 scale 怎么算、到浮点

此量化不是搞钱的量化,是大模型「瘦身」的秘诀。本期聚焦 GPTQ / AWQ / llama.cpp 等主流量化方案的底层基石——对称 INT4 / INT8 量化原理。从 scale 怎么算、到浮点