模型量化
也叫：Quantization · 低比特量化 · 低精度量化
模型量化是用更低精度表示权重或计算，以减少内存和计算成本，但可能影响速度与准确率。
他们说
用 INT8 或 INT4 等低精度表示压缩模型权重
老白翻译
少用几位数存模型，让它更容易装进机器。
它到底是什么
模型常用 16 位或 32 位数值保存权重。量化把其中一部分改成 8 位、4 位等低精度表示，让模型文件和运行占用变小。
生活里的例子
一台电脑装不下完整精度模型，换成合适的 4 位版本后可能可以本地运行。回答质量与生成速度需要重新测试。
常见误解
- 误解：文件更小就一定更快。 速度还取决于硬件、运行库和量化开销。
- 误解：位数越低越划算。 压得更小可能带来更多准确率损失。
- 误解：别人测得快，自己的机器也会快。 低精度指令支持会影响收益。
普通人怎么用
保留一个高精度版本作基线，在目标设备上用同一批真实问题比较内存、速度和关键答案，再决定使用哪种量化文件。