上联链路抖动 12 分钟 BGP 路由翻转 146 次：一次 dampening 参数实战

现象：10G 上联链路抖动，下游 5 个机房流量来回震荡

10 月 17 日 22:38，核心机房一条 10G 上联链路（AS65000 → 运营商 AS4134）开始间歇性 UP/DOWN。持续约 12 分钟（22:38–22:50），期间该 BGP session 共翻转 146 次，路由被撤销再重通告 146 轮。

业务侧影响：

• 下游 5 个城域机房的流量在两条 10G 上联之间反复切换，丢包率峰值 13.7%（业务侧 iperf3 -t 60 实测）；
• 核心 DNS 递归节点解析超时 3017 次（named 日志 query timeout 计数）；
• 两条上联链路的 ethtool -S 统计里，rx_crc_errors 各涨了 8000+，rx_missed_errors 涨了 21000+。

最直观的感受：下游机房网络工程师在群里喊"流量在跳"，我盯着 show ip bgp flap statistics 看到那条路由的 flap count 数字在飞速跳动，心里清楚这不是普通抖动，是链路层在反复断连。

根因：链路收光功率劣化 + BGP 无 dampening，路由撤销直接生效

第一层：链路为什么抖？

联系运营商查光模块日志，发现该端（运营商侧）收光功率从基线 -18.2dBm 跌到了 -26.1dBm，已经低于该光模块（华为 OSA-GD-SM1310，单模 1310nm）的接收灵敏度下限 -28dBm 不远，处于"勉强能收、收不稳"的灰色地带。链路层表现为：

• 物理层偶发 CRC 错误 → 触发接口 flapping；
• 接口 UP/DOWN → BGP neighbor 关系 reset → 路由撤销 → 链路恢复 → 路由重通告；
• 整个周期约 3–8 秒一次，12 分钟内翻了 146 次。

第二层：为什么下游流量跟着震荡？

BGP 默认行为是路由撤销立即生效，没有任何抑制机制。下游设备（AS65001，Juniper MX960）收到撤销后，毫秒级将流量切到另一条上联；另一条上联瞬间承载了原本两条链路分担的全部流量，短时过载导致丢包；链路恢复后路由重通告，流量又切回来——如此往复。

关键矛盾：路由撤销到重通告的间隔（3–8s）远小于下游业务建立连接的窗口（TCP 三次握手 + 应用层初始化，约 10–30s），所以每次切换都产生新的 SYN 超时，而不是"切过去就好了"。

具体做法：四层防御，从链路到路由到业务

1. BGP dampening（核心）

在核心路由器（Cisco IOS-XE 17.9.5）上启用路由抑制：

router bgp 65000
 ! dampening 参数：half-life / reuse / suppress / max-suppress
 bgp dampening 2 2 5 300
 ! 含义：
 !   half-life = 2（分钟）：惩罚值每 2 分钟衰减一半
 !   reuse     = 2        ：惩罚值降到 2 以下才允许重通告
 !   suppress  = 5        ：惩罚值升到 5 以上就抑制路由
 !   max-suppress = 300   ：最长抑制 300 秒，到期强制重通告

计算一下效果：假设链路每 5 秒翻一次，每次翻转惩罚值 +1（简化模型），2 分钟（120 秒）内翻转约 24 次，惩罚值累计到 24，远超 suppress=5，路由被抑制。下游设备不再跟随切换，流量稳定走另一条链路。300 秒后强制重通告，此时如果链路已经稳定（惩罚值已衰减），路由正常恢复。

2. BGP hold-time 拉长（辅助）

! Cisco 侧
router bgp 65000
 neighbor 203.0.113.1 timers 10 60
 ! keepalive=10s, hold-time=60s（默认 180s 太保守，30s 太激进）

! Juniper 侧（下游）
set protocols bgp group IBGP hold-time 60

hold-time 拉长到 60s 后，链路短暂抖动（< 10s）不会触发 neighbor reset，路由不会撤销。但注意：这不是万能的，链路真的断了（光模块彻底坏掉），hold-time 60s 意味着路由撤销延迟 60s，这是代价。

3. 链路层 dampening（物理层）

! Cisco 接口层
interface TenGigabitEthernet0/0/1
 dampening 1000 2000 5000 10000
 ! 含义：接口 UP 需稳定 1s，DOWN 需稳定 5s 才真正切状态
 ! 避免"闪断"触发 BGP reset

4. 收光功率基线 + 告警（治本）

! 每日巡检脚本（crontab）
! 采集两端收光功率，基线 -18±1dBm，告警阈值 -24dBm
ethtool -m TenGigabitEthernet0/0/1 | grep "Rx power"
# 输出示例：Rx power(dBm): -18.2
# 告警规则：连续 3 次采样 < -24dBm → 触发 P2 告警

踩过的坑（反直觉之处）

坑 1：dampening 参数设太保守，真实故障被掩盖 5 分钟

第一次上线 dampening 时我把 max-suppress 设成了 300s（5 分钟）。结果 11 月 3 日有一次真实的链路故障（运营商侧设备重启，实际断了 90 秒），dampening 把路由抑制了 5 分钟才释放。业务侧表现：90 秒的故障，用户感知到了 5 分钟的持续丢包——因为流量一直走另一条已经过载的链路。

修正：max-suppress 从 300s 降到 120s，同时加了"如果两条上联都出现 flap，自动解除 dampening"的联动逻辑（用 snmp trap 触发 script）。

坑 2：hold-time 拉太长，真实故障切换变慢

把 hold-time 从 180s 拉到 60s 是对的，但一开始我试了 120s。结果一次真实的光模块故障（彻底断连），路由撤销延迟了 120s，下游业务超时了整整 2 分钟。

教训：hold-time 和 dampening 是两把不同的刀。hold-time 解决"短暂抖动不 reset 邻居"，dampening 解决"reset 了但路由不立刻撤销"。两者叠加用，但 hold-time 不能无限制拉长，否则真实故障的 failover 时间被拖长。

坑 3：下游设备没有做"路由切换感知"，业务侧不知道流量跳了

下游 5 个机房的路由器都跟着 BGP 路由切换，但业务侧（应用服务器）没有任何感知机制。DNS 超时、TCP 重传都是事后从日志里翻出来的。

修正：在核心 DNS 节点上加了 named 的 query log + Prometheus exporter，对 query timeout 计数做告警（阈值：1 分钟内 > 50 次）。

结论与可复用清单

| 层次 | 措施 | 关键参数 | 效果 | |------|------|---------|------| | 物理层 | 收光功率基线 + 告警 | 基线 -18dBm，告警 -24dBm | 提前发现劣化，避免进入灰色地带 | | 链路层 | 接口 dampening | UP 1s / DOWN 5s 稳定 | 过滤闪断，减少 BGP reset 次数 | | BGP 层 | dampening | 2m / 2 / 5 / 120s | 路由抑制，下游不再跟随震荡 | | BGP 层 | hold-time 调整 | 60s（非 120s/180s） | 短暂抖动不 reset 邻居 | | 业务层 | DNS 超时监控 | 1 分钟 > 50 次告警 | 业务侧可感知路由切换 |

核心原则：链路抖动 ≠ 路由抖动。物理层的"闪断"不应该直接传导为路由层的"撤销-重通告"。中间需要至少一层缓冲（接口 dampening 或 BGP dampening），让下游设备有稳定的路由视图。

可复用检查清单：

1. 核心上联链路：收光功率基线是否建立？告警阈值是否设置？
2. BGP 邻居：hold-time 是否经过实测（非默认值）？
3. 路由：dampening 参数是否根据链路抖动频率调过（而非拍脑袋）？
4. 下游业务：是否有路由切换的感知机制（DNS 超时 / TCP 重传计数）？
5. 联动：两条上联同时 flap 时，dampening 是否会自动解除？