【背景】 我做了 5 年网络工程，负责跨机房 HTTP/gRPC 调用链，单侧新建连接峰值 800 conn/s、存量长连接 2 万上下。过去一年复盘了 4 次「应用层指标全绿但 P99 抖了」的事故，根因都指向网络层的静默降级：
- 第 1 次：某机房交换机端口 FEC 纠错率从 0.001% 爬到 0.3%，TCP 重传率 0.12%，应用层 P99 从 18ms 抖到 45ms，持续 6 小时，最终靠 netstat 里的 retrans 计数才定位；
- 第 2 次：跨 AZ 链路 RTT 从 2.1ms 漂到 4.8ms（抖动 +128%），但 TCP 没丢包、没重传，业务方感知到的是「P99 偶尔 80ms」，oncall 翻 2 小时应用日志才怀疑是网络；
- 第 3 次：内核 conntrack 表打到 82%（默认 nf_conntrack_max=262144），新建连接开始被静默 drop，但存量长连接完全正常——应用层监控一片绿，直到新租户请求超时才暴露；
- 第 4 次：网卡 ring buffer 从 1024 被某次内核升级改回 256，高 QPS 时 softirq 来不及收包，丢包率 0.03%，应用层表现为 P99 偶发 +120ms，tcpdump 抓不到（因为包在内核态就丢了）。
四次事故的共同点：网络层出了事，但没有任何一条应用层 SLO 被触发，oncall 靠「P99 抖了 → 排除 GC → 排除连接池 → 排除下游 → 怀疑网络」这条排除链走，平均耗时 47 分钟。
【常见分歧】 这个问题在团队里通常有两种对立观点：
-
观点 A（应用层视角）：「网络是基础设施，SLO 是业务承诺，别把网络指标混进业务 SLO。只要 P99 < 50ms 就 OK，底下是 TCP 重传还是 DNS 解析慢，是网络组的事，不是业务 SLO 的事。混进来只会让 SLO 变成一锅粥，没人对结果负责。」
-
观点 B（网络层视角）：「TCP 重传率 > 0.05% 就该 page，RTT 抖动 > 50% 就该升级。网络层的 0.1% 重传在 800 QPS 下意味着每秒约 0.8 个请求被额外延迟一个 RTT，累积到 P99 就是实打实的抖动。不纳入监控就等于『出了事再归因』，oncall 平均 47 分钟就是证据。」
实践上还有一种尴尬：很多团队配了 netstat 的 retrans 告警，但阈值设得太宽松（比如 1%），结果「真出事的时候告警已经晚了，没出事的时候天天误报」——最后干脆把阈值关了，告警面板上留个死指标。
【我的倾向与理由】 我倾向于：网络层指标不直接写进业务 SLO（SLO 是对外承诺，不该暴露实现细节），但必须有一个独立的「网络健康度 SLO」，且它的告警级别 ≥ 业务 SLO 的告警级别。具体阈值（基于我上面 4 次事故反推 + 10Gbps 链路实测）：
- TCP 重传率：P99 窗口（5min）内 > 0.05% 触发 warning，> 0.2% 触发 page。依据：我实测 FEC 纠错率 0.1% 时重传率约 0.08%，所以 0.05% 是「正常背景噪声」的上界；0.2% 对应 10Gbps 链路约 250 个重传包/秒，此时 P99 必然开始抖动。
- RTT 抖动：同链路 RTT P99/P50 比值 > 3 触发 warning（2.1ms 基线 → P99 超 6.3ms 就告警），> 5 触发 page。依据：第 2 次事故 RTT 从 2.1ms 漂到 4.8ms（比值 2.3）时 P99 已经 +30ms，3 倍比值是「用户可感知」的临界点。
- conntrack 使用率：> 70% warning，> 85% page。默认表 262144，70% = 18 万条。我们跨机房 gRPC 长连接 2 万 + 短连接峰值 16 万，余量只有 2 万条——第 3 次事故就是 82% 时开始 drop 的，70% 预警留了 12 个百分点的缓冲，按当时的连接增长速率（约 200 conn/s）大概有 10 分钟窗口。
- 关键原则：网络 SLO 的告警必须比业务 SLO 早至少 5 分钟触发。如果业务 P99 已经抖了网络告警才响，那它就是个「事后归因工具」而不是「预警工具」，等于没配。
【想听大家在什么场景下怎么选】
- 你们的 SLO 体系里，网络层指标（重传率 / RTT 抖动 / 丢包率 / conntrack）是单独一页，还是混在业务 P99 里一起看？分开的团队怎么保证「网络告警比业务告警早」？
- TCP 重传率的告警阈值你们怎么定的？有没有被「阈值太严天天误报、太松出事才响」折磨过？最后折中在哪个值？
- 跨机房 / 跨 AZ 场景下，RTT 抖动多少算「可接受」？2 倍？3 倍？你们的基线 RTT 是多少，抖动到多少时业务开始投诉？
- 有没有团队把 conntrack 使用率纳入了 oncall 流程？默认 262144 够用吗，你们调到多少了？
- 网卡 ring buffer / softirq 这类「内核态丢包」你们有没有自动化检测手段？tcpdump 抓不到的场景怎么覆盖？
欢迎贴你们的阈值配置（脱敏后）、告警规则、以及「设了阈值但最后关掉」的真实故事——后者可能更有价值。