面向机密推理的加速器:把信任放进芯片里
- 为什么要加密内存
- 两种新变体解决什么
- 损耗在哪里
- 调度与运维的新问题
- 什么时候值得用
为什么要加密内存
在多租户环境里,最敏感的不是网络,而是内存。同机上的其他负载、运维通道、甚至内存转储,都可能把模型权重和用户数据读走。
机密计算把内存划成受保护的 enclave,进出都要经过硬件密钥。攻击者拿到物理访问也读不到明文,这是它的核心承诺。
两种新变体解决什么
一类面向机密推理场景,把加密内存与推理流水线放在同一封装里,减少跨域拷贝;另一类把内存容量做大,承接长上下文与大批量请求。
方向其实是一致的:把安全边界从软件挪到芯片,让加密不再需要额外一轮搬运,从而把损耗压到可接受区间。
损耗在哪里
加密内存的读写要经过加解密引擎,带宽和延迟都会受影响;页表切换、远程证明握手同样占时间。小请求受影响更明显。
做法上通常把预热、编译、权重加载放到启动阶段,推理只跑热路径;再把批量调大,摊薄每次请求的固定开销。
调度与运维的新问题
enclave 有独立的内存上限和启动流程,弹性扩缩容不再只是加机器。扩容要重新证明、重新加载权重,冷启动更慢。
监控也要换口径:除了常规的延迟与错误率,还要看证明失败次数、加密内存占用和解密吞吐,这些指标过去没有。
什么时候值得用
涉及敏感数据的推理、跨组织共用算力、监管要求数据不出硬件的场景,价值比较明确。纯内部、数据敏感度低的推理,收益有限。
选型时先把合规要求写成清单,再看哪些环节必须落在硬件边界内。全部加密往往过度,只加密关键路径更实际。
读者留言 共 4 条
冷启动要重新证明这段很关键,我们评估时就是被这一步拖住了。
只加密关键路径更实际,全量加密性能掉得太狠,业务方接受不了。
远程证明失败率这个指标应该进监控,属于安全面的可用性问题。
把编译和权重加载放到启动阶段,这个思路我们试过,效果明显。