CANN-昇腾NPU-推理服务灰度发布-怎么平滑切换版本

灰度发布（Canary Deployment）把新版本先给 5% 用户用，没问题再全量。在昇腾NPU推理服务上，灰度发布需要解决：流量切分、效果对比、快速回滚。

灰度策略

策略 1：随机切分

importrandom MODEL_VERSIONS={"v1.0":0.95,# 95% 流量"v1.1":0.05,# 5% 流量（灰度）}defselect_model():r=random.random()cumulative=0forversion,ratioinMODEL_VERSIONS.items():cumulative+=ratioifr<cumulative:returnversionreturn"v1.0"@app.post("/generate")asyncdefgenerate(prompt:str):version=select_model()model=models[version]result=awaitmodel.generate(prompt)return{"result":result,"version":version}

策略 2：用户 ID 哈希切分

defselect_model_by_user(user_id:str):# 同一用户始终落到同一版本（体验一致）hash_val=hash(user_id)%100ifhash_val<5:# 5% 灰度return"v1.1"return"v1.0"

策略 3：请求特征切分

defselect_model_by_request(prompt:str):# 短 prompt 用新版本，长 prompt 用旧版本（新版本长序列支持不稳定）iflen(prompt)<512:return"v1.1"return"v1.0"

K8s 灰度配置

# 95% 流量到 v1.0apiVersion:networking.k8s.io/v1kind:Ingressmetadata:name:inference-v1-canaryspec:rules:-http:paths:-path:/pathType:Prefixbackend:service:name:inference-v1port:number:8000---# 5% 流量到 v1.1（灰度）apiVersion:networking.k8s.io/v1kind:Ingressmetadata:name:inference-v1-canaryannotations:nginx.ingress.kubernetes.io/canary:"true"nginx.ingress.kubernetes.io/canary-weight:"5"spec:rules:-http:paths:-path:/pathType:Prefixbackend:service:name:inference-v1-canaryport:number:8000

效果对比

灰度期间对比两个版本的关键指标：

fromprometheus_clientimportCounter,Histogram# 定义指标requests_total=Counter("inference_requests_total","Total requests",["version"])latency_histogram=Histogram("inference_latency_seconds","Latency",["version"])error_counter=Counter("inference_errors_total","Errors",["version"])@app.post("/generate")asyncdefgenerate(prompt:str):version=select_model()withlatency_histogram.labels(version=version).time():try:result=awaitmodels[version].generate(prompt)requests_total.labels(version=version).inc()returnresultexceptExceptionase:error_counter.labels(version=version).inc()raise

Grafana 面板对比：

panels:-title:错误率对比expr:|rate(inference_errors_total{version="v1.1"}[5m]) / rate(inference_requests_total{version="v1.1"}[5m])type:graph-title:延迟 P99 对比expr:|histogram_quantile(0.99, rate(inference_latency_seconds_bucket{version="v1.1"}[5m]) )type:graph

灰度通过标准：

• 错误率不超过 v1.0 的 1.2×
• P99 延迟不超过 v1.0 的 1.1×
• 用户反馈满意度 ≥ v1.0

快速回滚

灰度发现问题时，立即回滚：

# K8s 调整灰度权重到 0kubectl patch ingress inference-v1-canary\--type='json'\-p='[{"op": "replace", "path": "/metadata/annotations/nginx.ingress.kubernetes.io~1canary-weight", "value": "0"}]'

ATB 的模型热切换也可以做回滚：

# 灰度版本出错，热切换回旧版本model.reload("model_v1.0.om")

自动化灰度

用 Prometheus + Alertmanager 做自动化灰度：

# Prometheus 告警规则groups:-name:canary_alertsrules:-alert:CanaryHighErrorRateexpr:|rate(inference_errors_total{version="v1.1"}[5m]) / rate(inference_errors_total{version="v1.0"}[5m]) > 1.2for:2mannotations:summary:"灰度版本错误率过高，自动回滚"# Alertmanager 触发 webhook，调用回滚 API

@app.post("/webhook/rollback")asyncdefrollback():# 调整 K8s Ingress 权重os.system("kubectl patch ingress ...")# 灰度权重 → 0return{"status":"rolled back"}

灰度发布是在线服务更新的最佳实践。随机切分 5% 流量 → 对比效果 → 无问题全量。K8s Ingress 做流量切分，Prometheus 做效果监控，自动回滚防止事故扩大。仓库在这里：

https://atomgit.com/cann/ATB