← 返回AI教程
🌐 其他
你瘦不下来但大模型可以:量化原理了解一下
此量化不是搞钱的量化,是大模型「瘦身」的秘诀。本期聚焦 GPTQ / AWQ / llama.cpp 等主流量化方案的底层基石——对称 INT4 / INT8 量化原理。从 scale 怎么算、到浮点
此量化不是搞钱的量化,是大模型「瘦身」的秘诀。本期聚焦 GPTQ / AWQ / llama.cpp 等主流量化方案的底层基石——对称 INT4 / INT8 量化原理。从 scale 怎么算、到浮点
Aitishiku.com