端侧语音识别的延迟从哪里来
- 延迟由哪几段组成
- 采样与分帧的固定开销
- 模型推理是变量最大的一段
- 调度与内存带来的抖动
- 普通用户怎么判断
延迟由哪几段组成
把一句话变成屏幕上的文字,看起来是一瞬间的事,实际要走过拾音、降噪、分帧、特征提取、模型推理、语言后处理六个环节。每一段都消耗时间,加起来才是用户感受到的那一点迟滞。
采样与分帧的固定开销
设备宣传里常写“实时转写”,但实时并不等于零延迟。工程上通常把延迟压到两百到四百毫秒就算跟得上说话节奏,低于这个区间人耳几乎察觉不到,高于八百毫秒就会出现明显追赶感。
模型推理是变量最大的一段
第一段是麦克风拾取。音频按固定窗长切片,常见是十毫秒一帧,为了做频谱分析还要叠加窗函数,这一步的开销完全由采样率决定,几乎没有优化空间。
调度与内存带来的抖动
第二段是降噪与回声消除。多麦克风设备要做波束成形,需要比较通道间的相位差,算量不大但依赖固定流水线,一旦缓冲区设得太长,会直接抬高整条链路的下限。
普通用户怎么判断
真正波动最大的是模型推理。同样一段音频,短句可能只要三十毫秒,长句因为要维护上下文状态,耗时会翻倍;如果模型被切成多段流式推理,每段之间还要等待状态同步。
内存带宽也常被忽略。语音模型参数量不大,但每帧都要读写特征缓存,若与图像处理共用内存通道,遇到相册预览、视频通话这类场景就会互相抢占。
调度层面还有一种抖动:系统为了省电会把音频线程放到小核上,唤醒间隔被拉长,于是平均延迟看着合格,实际体验却有明显的顿挫。
判断设备表现,不必看参数表,直接做三件事:连续说一段三百字的话看末尾是否掉字;在安静与嘈杂环境各试一次比较差异;把屏幕关掉再说一遍,看是否因为省电策略变慢。
读者留言 共 3 条
看完才明白延迟不是单点问题,之前一直以为是模型不够快。
分帧那段解释得很清楚,难怪调缓冲区长度对体验影响这么大。
按文里的三个方法试了一下,嘈杂环境下确实差不少,受教了。