量化版本号通常由特定的字母和数字组合而成, 它们的意义如下:
- Q+数字（如 Q8, Q6, Q5 等）：表示量化位宽（如 8-bit, 6-bit 等）。数字越低代表量化程度越高，模型文件越小、占用显存越低、推理速度越快，但相应的精度也会逐步下降。数字越小显存消耗越低，但对话质量也会随之下降。
- K：代表采用了 k-means 量化方法。作为基础量化算法，提供标准水平的显存占用与对话质量基准。
- P：代表 “plain”（普通量化），表示该版本不包含额外的混合矩阵。采用普通的恒定位宽，对显存和对话质量无额外优化，表现中规中矩。
- M：代表 “mixed”（混合量化）。这种方式会在同一模型的不同层使用不同的位宽。能在进一步降低显存消耗的同时，智能地保全较高的对话质量。
- I（如 IQ4）：代表 “int”（如 int-4，即 4-bit 整数量化）。效果：通过整数量化机制更高效地压缩显存消耗，但对话质量会受到轻微影响。
- XS：代表 “extra-small”。这通常是最激进的量化策略（如 IQ4 XS）。追求极限最低的显存消耗，但代价是会较明显地牺牲部分对话质量。
- f16：代表 float16（16-bit 浮点数），通常用于多模态任务（如图像-文本）中投影层（mmproj）的保存格式。显存消耗极其巨大（极易导致溢出），但能提供最高级别的对话和理解质量。