基于Kubernetes Metrics Server的资源监控

基于Kubernetes Metrics Server的资源监控

监控指标配置

在Kubernetes环境中，通过Metrics Server收集Pod和Node的资源使用情况。主要监控以下核心指标：

• CPU使用率：container_cpu_usage_seconds_total，通过Prometheus抓取
• 内存使用量：container_memory_usage_bytes，包括工作集内存
• 网络I/O：container_network_receive_bytes_total和container_network_transmit_bytes_total
• 磁盘I/O：container_fs_io_time_seconds_total

告警配置方案

在Prometheus告警规则中配置以下阈值：

# CPU告警规则
- alert: HighCPUUsage
  expr: rate(container_cpu_usage_seconds_total[5m]) > 0.8
  for: 10m
  labels:
    severity: warning
  annotations:
    summary: "Pod {{ $labels.pod }} CPU使用率过高"

# 内存告警规则
- alert: HighMemoryUsage
  expr: container_memory_usage_bytes > 2GB
  for: 5m
  labels:
    severity: critical
  annotations:
    summary: "Pod {{ $labels.pod }} 内存使用量超过阈值"

实施步骤

1. 启用Metrics Server：kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
2. 验证监控：kubectl top pods
3. 配置Prometheus采集指标：

   - job_name: kubernetes-pods
     kubernetes_sd_configs:
     - role: pod
     relabel_configs:
     - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
       action: keep
       regex: true
   

4. 部署告警规则至Prometheus

通过以上配置，实现对模型服务运行时资源的实时监控与告警，确保模型推理服务的稳定性。