告警阈值：绝对值 vs 相对基线偏差——P99 从 40ms 涨到 55ms，你的值班同学会跳起来吗？

【背景】

做了 8 年技术文档与指标体系搭建，过去三年里帮三个团队从零搭过可观测性告警体系，也帮两个团队做过"告警治理"（把 400+ 条规则砍到 80 条）。在这个过程中，被问得最多、也最容易吵起来的一个问题就是：

阈值到底用绝对值，还是用相对基线偏差？

这不是一个"哪个更高级"的问题，而是一个和团队规模、业务节奏、值班文化强耦合的取舍。

【几种常见做法及其代价】

做法 A：绝对值派

• 规则：p99_latency_ms > 100 → P2 告警
• 优点：值班同学零学习成本，一眼看懂"超没超线"；写文档 / 写 runbook 时一句话就能说清；审计时最容易被安全合规接受（"阈值是多少？100ms。"）
• 代价：对"静默退化"完全无感。一个 P99 稳态 35ms 的接口，涨到 55ms 可能意味着索引选择器已经悄悄变了、连接池开始排队了——但 55 < 100，静默。等涨到 100 再告警，往往已经伴随 5xx 了。
• 典型翻车场景：大促前压测把 P99 从 40ms 压到 80ms 并"习惯"了，绝对阈值 100ms 突然变得太松，真正的退化被淹没。

做法 B：相对基线偏差派

• 规则：p99_latency_ms > baseline_7d_same_hour * 1.5 → P2 告警
• 优点：自适应，能抓住"从 40 涨到 55"这种绝对值抓不到的退化；对业务周期（白天/深夜）天然免疫。
• 代价：
  1. 基线污染：一次大促、一次发布回滚、一次上游抖动，都会把过去 7 天的基线"抬高"，之后 7 天内的真实退化反而不告警了。
  2. 可解释性差：值班同学问"为什么告了？"，你得解释"因为比上周同一时段高了 40%"——比"超过 100ms 了"多一层认知负担。
  3. 文档 / runbook 难写：runbook 里没法写"当 P99 超过基线 150% 时做 X"，因为"基线"本身是浮动的，新人接手时不知道基线是多少。
• 典型翻车场景：一个接口长期 P99 在 200~300ms 之间波动（下游依赖不稳定），基线被抬到 280ms，偏差阈值变成 420ms——真正的性能退化（从 250 涨到 350）被吞掉了。

做法 C：混合分层派

• 规则：两层告警。
  • 第一层（提前量）：p99 > baseline * 1.3 → P3 / 仅通知不升级
  • 第二层（兜底）：p99 > 100ms（绝对值）→ P2 / 电话升级
• 优点：兼顾"静默退化"的提前量和"绝对底线"的兜底；值班同学最关心的是第二层（"要不要跳起来"），第一层只是"留意一下"。
• 代价：规则数量翻倍，告警治理成本上升；两层之间的"灰色地带"（比如 P99 在 60~80ms 之间）容易变成"谁都不管"的真空区。

【我的倾向与理由】

我倾向做法 C，但有一个前提条件：基线本身的质量必须被当作一等公民来治理。

具体来说：

1. 基线窗口不能是"过去 7 天"这种简单滚动窗口，至少要做 outlier 剔除（比如去掉每天 top 5% 的分钟值），否则一次大促就污染 7 天。
2. 基线本身要可观测——在 dashboard 上把"当前基线值"和"当前 P99"并排放，让值班同学能一眼看到"基线是不是被抬高了"。
3. 绝对值兜底线不是"拍脑袋定 100ms"，而是从 SLO 反推：如果 SLO 是"P99 < 200ms，月度错误预算 0.1%"，那绝对值告警线应该设在 SLO 的 50%~60%（即 100~120ms），给值班留 50% 的"反应窗口"。

这个"从 SLO 反推阈值"的方法，我在帮团队写监控规范文档时反复用，核心逻辑是：阈值不是监控参数，是 SLO 的投影。把这句话写进 runbook 的开头，比写 10 条 if-else 规则都管用。

【想听大家在什么场景下怎么选】

特别想收集几种经验：

1. 你团队当前用的是哪种做法？ 如果从 A 迁到 B 或 C，迁移动机是什么（一次事故？一次 review？一个人走了？）
2. 有没有"绝对值太松/太紧"或"基线被污染"的具体案例？ 最好带数字：基线从多少被抬到多少、之后漏了几次告警。
3. 两层告警之间的"灰色地带"你们怎么处理的？ 是留给人看、还是加一层自动 action（比如自动触发一次压测 / 自动扩容）？
4. 你的团队规模 / 值班模式是什么？ 一个人值班 vs 三人轮班，对阈值策略的选择影响有多大？

我猜这个争议不会很快收敛——它本质上不是一个技术问题，是一个"信任模型"问题：你信任值班同学的判断力（那就用相对偏差，让他自己判断"这个偏离正不正常"），还是信任系统（那就用绝对值，让系统替你做判断）。

两种信任都有道理，但选错了的代价是：要么狼来了（绝对值太松，真事故被淹没），要么天天救火（相对偏差太敏感，值班同学脱敏）。

欢迎带场景、带数字来聊。