基于指标采集的模型性能分析
最近在搭建模型监控平台时踩了不少坑，分享几个关键的监控指标和告警配置方案。
核心监控指标
1. 模型推理延迟
# 采集P95延迟
prometheus_query: histogram_quantile(0.95, sum(rate(model_request_duration_seconds_bucket[5m])) by (le))
建议设置告警阈值：> 500ms
2. 模型准确率下降
# 使用滑动窗口计算准确率变化
import numpy as np
window_size = 1000
recent_accuracy = model_predictions[-window_size:].mean()
if recent_accuracy < baseline_accuracy * 0.95:
alert("准确率下降超过5%")
3. 数据漂移检测
# 配置数据分布监控
- name: feature_drift_detection
metric: ks_test_statistic
threshold: 0.1
window: 1h
告警配置实践
不要只设置单一阈值，建议使用多层告警：
- 预警级：延迟>300ms
- 警告级：延迟>500ms且持续5分钟
- 严重级：准确率下降>10%或数据漂移>0.1
踩坑记录
- 忘记设置数据聚合窗口导致告警过于频繁
- 指标采集不完整，导致误报率高达70%
- 告警通知渠道未区分级别，影响排查效率
讨论