端侧模型跑在手机上,量化到底省了什么
本文要点
- 量化省在哪
- 精度损失从哪来
- 混合精度的做法
- 端上跑得动吗
- 怎么判断够用
量化省在哪
量化是把权重与激活值用更少的位数表示,常见的是从十六位压到八位甚至四位。
位数减少,模型体积与内存占用同步下降,带宽需求也随之降低。
精度损失从哪来
收益不只是装得下,推理速度提升往往更明显,因为读取权重的开销占比很高。
精度损失来自表示范围的收窄,离群值被截断后,部分层的输出会出现偏差。
混合精度的做法
敏感层通常集中在注意力与前馈的少数位置,逐层分析比整体压缩更有效。
混合精度是折中方案,关键层保持较高位数,其余层激进压缩。
端上跑得动吗
校准数据的选择很关键,用与真实输入分布接近的样本,能显著减少偏差。
端上运行还要看内存带宽与热设计,短时峰值与长时间稳定输出差别很大。
怎么判断够用
判断是否够用,应回到任务指标,而不是只看困惑度或单一基准分数。
对话类任务对微小偏差容忍度高,结构化抽取与数值计算则更敏感。
先在小样本上做对比测试,再决定压缩比例,比一次性压到极限稳妥。
量化是工程取舍,知道取舍在哪,才能把体验守住。
读者留言 共 3 条
算算法工程师2026-11-20
校准数据分布这条最容易被忽略。
端端侧开发2026-11-20
热设计确实会拖后腿,长时间跑就降频。
读长期读者2026-11-20
回到任务指标判断,比看分数靠谱。