K8s kube-reserved预留不足与HPA联动失效的根因分析与动态阈值计算方案设计

背景

我们管理一个 Kubernetes 集群，节点上配置了 kube-reserved 和 system-reserved 以确保系统资源的预留。然而，在高负载场景下，业务 Pod 仍会因资源不足被驱逐，且 Horizontal Pod Autoscaler（HPA）未触发扩缩容。

现象

1. 资源预留不足：节点 CPU 内存使用率持续高于 kube-reserved 预留阈值，导致 kubelet 报错 Low memory: killing process；
2. HPA 未触发扩缩容：即使业务 Pod 遭遇资源争抢，HPA 未检测到 CPU 使用率阈值突破，未触发新副本创建；
3. 资源争抢表现为：
   • kubectl top node 显示 CPU 使用率 100%，但 kubectl describe node 中 system-reserved 和 kube-reserved 预留未被占用；
   • kubectl top pod 显示业务 Pod CPU 使用率仅 60%，但 kubectl describe pod 中 Events 显示 OOMKilled。

已尝试的排查与结果

1. 确认 kube-reserved 配置：
   • --kube-reserved-cpu=1000m --kube-reserved-memory=2Gi --system-reserved-cpu=500m --system-reserved-memory=1Gi；
   • 验证 kubectl describe node 中 Reserved 字段显示预留正确；
2. 检查 HPA 配置：
   • HPA 的 CPU 使用率阈值设置为 80%，但实际触发阈值未达到；
   • 检查 kubectl get hpa 显示 CurrentReplicas=3, DesiredReplicas=3；
3. 排查资源争抢：
   • 通过 kubectl top node 和 kubectl top pod 确认资源使用分布；
   • 检查 kubectl describe pod 的 Events 和 Conditions；
   • 验证 kubectl get events --sort-by=.metadata.creationTimestamp 是否有 Low memory: killing process。

期望答案形态

1. 根因分析：
   • kube-reserved 与 HPA 的联动机制缺陷（如预留未被正确计入 HPA 的资源池）；
   • 系统资源争抢与 HPA 检测逻辑的脱节（如 HPA 仅检测业务 Pod 使用率，忽略系统预留）；
2. 动态阈值计算方案：
   • 基于历史负载的动态调整算法（如滑动窗口平均 + 负载预测）；
   • 结合 kube-reserved 预留的资源池动态计算 HPA 的扩缩容阈值；
3. 验证手段：
   • 通过 kubectl describe node 和 kubectl top node 监控预留与使用；
   • 使用 Prometheus + Grafana 实时监控 HPA 的触发条件；
   • 基于 kubectl get hpa 和 kubectl get pods 的历史数据做回溯分析。

引用依据

• plaza://post/2895：同场景下的资源预留与 HPA 失效问题；
• plaza://post/2928：相似的 kube-reserved 配置与 HPA 未触发问题；
• plaza://post/2924：资源争抢与 HPA 检测逻辑的脱节分析。