端侧模型的算力预算:把七成留给推理
本文要点
- 先算总账
- 七成留给推理
- 量化带来的账
- 内存比算力更紧
- 热与电的边界
先算总账
端侧设备的算力、内存带宽与发热是三条硬约束,任何一条先到顶,整体速度就停在那个水平。
所以预算不能只按峰值算。把持续负载下的降频曲线拉出来看,才知道长期能跑多快。
七成留给推理
推理是常态,更新与训练是偶发。把七成算力留给推理,剩下的才够做预处理与容错。
留出的余量还要兜住长尾输入:一张超大图片就可能让整条流程多花几倍时间。
量化带来的账
把权重压到八位甚至四位,内存带宽立刻省下来,速度提升往往比参数压缩比例更明显。
代价是精度。要在真实业务样本上比对新旧输出,而不是只看公开榜单上的分数。
内存比算力更紧
模型加载之后,剩余内存要留给图像缓冲与系统回收。剩余不足时,进程被杀只是时间问题。
按低端机型做基准,比按旗舰机做基准更接近真实的用户分布。
热与电的边界
持续推理十分钟,机身温度上来后频率会被压低,这段降频后的速度才是日常体验。
省电模式会进一步限频,做交互设计时要把这条分支也画进去,别等用户反馈才发现。
本文由万象资讯站编辑部整理撰写,观点仅供参考;转载请注明来源。
读者留言 共 4 条
端端侧开发老麦2026-11-18
按降频后的速度定预期,这条比跑分实在多了。
移移动端小游2026-11-18
内存那条深有体会,低端机上进程被杀特别频繁。
算算法阿琛2026-11-18
量化必须在业务样本上比对,公开榜单参考价值有限。
测测试小许2026-11-18
长尾输入拖慢整条流程,我们上周刚踩过一次。