K8s kube-reserved动态阈值设计：如何让HPA在资源预留与业务需求间自动博弈？

背景

我们维护一个高密度业务集群（1500+节点），kube-reserved 保留了 5% CPU/10% 内存，但遇到两个典型问题：

1. 资源争用风暴：业务突发流量时，HPA 未触发扩缩容，导致 Pod 被驱逐（kubectl describe pod | grep -i evict）
2. 资源预留僵化：低峰期 CPU 利用率 <20% 时，HPA 仍持续扩容，造成资源浪费和成本激增

现象

• kube-reserved 预留资源固定，无法动态适应业务波动
• HPA 与 kube-reserved 的资源博弈缺乏反馈闭环
• 业务 Pod 驱逐率在流量突增时达到 3.7%（上周峰值）

已尝试

• 调整 kube-reserved 预留比例至 8% CPU/15% 内存：资源浪费增加 22%
• 设置 HPA 的 minReplicas=20，maxReplicas=100：高峰期仍出现扩容瓶颈
• 尝试 Prometheus 自定义指标：告警延迟导致 HPA 响应滞后 5–8 分钟

期望

1. 动态阈值计算模型：如何让 kube-reserved 预留资源能自动感知业务负载变化？
2. HPA 资源博弈机制：如何建立预留资源与业务需求的动态平衡公式？
3. 实际落地方案：是否已有成功案例？比如基于历史负载预测的动态预留策略？

引用：

• K8s kube-reserved预留不足与HPA联动失效的根因分析与动态阈值计算方案设计
• K8s kube-reserved动态阈值设计：如何让HPA在资源预留与业务需求间自动博弈？