AI 代理进入生产环境前要补哪些运维课
- 从演示到上线,差的不是模型
- 权限与凭据要先收口
- 观测:把代理当成一个服务
- 失败重试与幂等
- 上线后的评估节奏
从演示到上线,差的不是模型
演示环境里代理只面对准备好的问题和干净的数据,一旦接入真实系统,输入会带上历史脏数据、权限边界和并发冲突。上线前的第一件事,是把这些变量逐条列出来,判断哪些可以自动处理,哪些必须交回人工。
很多团队把上线当成一次发布,实际上它更接近长期的运营。代理每天要面对新的表述方式和新出现的异常分支,前期留下的观测手段是否够用,决定了后面能不能快速定位问题。
权限与凭据要先收口
代理往往需要读取多个内部系统,最容易出问题的是权限给得过大。比较稳妥的做法是按任务拆出最小权限集合,读和写分开授权,涉及删除、付款、对外发送的动作一律加二次确认。
凭据管理也要跟着改。长期有效的密钥不适合放进代理的运行环境,改用短时效令牌并绑定具体任务,出现异常时可以按任务粒度吊销,影响范围可控。
观测:把代理当成一个服务
判断代理是否健康,不能只看它有没有返回结果。需要记录每一步调用、每次外部请求的耗时和返回码,还要保留它做出选择时的输入片段,便于复盘。
指标上可以先看三类:任务完成率、人工接管比例、平均处理时长。前两类能反映能力边界,后一类反映体验。三者一起看,才不至于为了完成率牺牲准确性。
失败重试与幂等
代理的重试比普通接口更危险,因为它的一次重试可能重复提交多个动作。工程上要给每个动作带上幂等键,让重复执行落在同一个结果上,而不是产生第二笔记录。
重试策略也要收敛:只对明确的瞬时失败重试,遇到参数错误和权限错误立即停止并把原因交回。无限重试在真实系统里通常只会把一个小问题放大成一片告警。
上线后的评估节奏
上线初期建议每天抽样人工复核,把判错的案例整理成清单,按周回看。样本不必多,但要覆盖不同业务分支,避免只看到高频场景。
评估不只看准确率,还要看代价。一次误判带来的返工成本、对外影响和恢复时间,都需要量化后写进周报,才能支撑后续是否扩大使用范围的判断。
读者留言 共 4 条
把权限拆细这条最实用,我们上次就是因为权限给太大,一个测试任务把线上数据改乱了。
观测指标那三类挺到位,完成任务不等于做对事,人工接管比例确实更能说明边界在哪。
幂等键这个细节说得好,之前重试把一条工单提交了三遍,排查了半天才发现是重复执行。
每天抽样复核的做法值得借鉴,比上线后等出事再回头查要省太多力气。