Kubernetes节点标签与模型服务调度

Kubernetes节点标签与模型服务调度踩坑记录

最近在Kubernetes上部署TensorFlow Serving服务时，遇到了模型服务调度不均的问题。起初以为是负载均衡配置有问题，后来才发现根源在于节点标签的合理使用。

问题场景

我们的TensorFlow模型服务需要根据GPU资源进行调度，但默认的调度器会将所有Pod均匀分布到各个节点，导致部分GPU节点满载而其他节点空闲。

解决方案

通过给节点打标签来实现精确调度：

# 为GPU节点添加标签
kubectl label nodes gpu-node-1 gpu=true
kubectl label nodes gpu-node-2 gpu=true
kubectl label nodes cpu-node-1 cpu=true

# 在部署文件中使用nodeSelector
apiVersion: apps/v1
kind: Deployment
metadata:
  name: tensorflow-serving
spec:
  replicas: 3
  selector:
    matchLabels:
      app: tensorflow-serving
  template:
    metadata:
      labels:
        app: tensorflow-serving
    spec:
      nodeSelector:
        gpu: "true"
      containers:
      - name: serving
        image: tensorflow/serving:latest-gpu
        ports:
        - containerPort: 8501

进阶配置

为了更好地管理不同类型的模型服务，我们还使用了节点亲和性（nodeAffinity）：

# 在Deployment中添加亲和性规则
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: gpu
            operator: In
            values: ["true"]

实际效果

通过节点标签和调度策略的配合，模型服务能够根据硬件资源进行智能分配，避免了资源浪费。同时结合Docker容器化部署，实现了TensorFlow Serving微服务的高效运行。

这个方案特别适合有GPU资源需求的机器学习服务部署场景。