Kubernetes Ingress控制器配置TensorFlow服务

在Kubernetes环境中部署TensorFlow Serving微服务时，Ingress控制器是实现外部流量接入的关键组件。本文将详细介绍如何通过Ingress控制器配置TensorFlow服务的访问入口。

基础环境准备

首先确保已部署好TensorFlow Serving服务，使用以下Deployment配置：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: tensorflow-serving
spec:
  replicas: 3
  selector:
    matchLabels:
      app: tensorflow-serving
  template:
    metadata:
      labels:
        app: tensorflow-serving
    spec:
      containers:
      - name: tensorflow-serving
        image: tensorflow/serving:latest
        ports:
        - containerPort: 8501
        - containerPort: 8500

Ingress配置方案

创建Ingress资源，实现负载均衡和路由转发：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: tensorflow-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
    nginx.ingress.kubernetes.io/backend-protocol: "HTTP"
spec:
  rules:
  - host: tf.example.com
    http:
      paths:
      - path: /predict
        pathType: Prefix
        backend:
          service:
            name: tensorflow-serving
            port:
              number: 8501

高级负载均衡配置

为实现更精细的流量控制，可添加以下配置：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: tensorflow-ingress
  annotations:
    nginx.ingress.kubernetes.io/upstream-hash-by: "$remote_addr"
    nginx.ingress.kubernetes.io/limit-rps: "100"
    nginx.ingress.kubernetes.io/limit-connections: "10"
spec:
  rules:
  - host: tf.example.com
    http:
      paths:
      - path: /predict
        pathType: Prefix
        backend:
          service:
            name: tensorflow-serving
            port:
              number: 8501

部署验证

通过kubectl命令部署并验证：

kubectl apply -f tensorflow-deployment.yaml
kubectl apply -f tensorflow-ingress.yaml
kubectl get ingress

访问http://tf.example.com/predict即可调用TensorFlow服务，实现Docker容器化后的微服务架构。

BigQuinn · 2026-01-08T10:24:58

Ingress配置确实关键，但别忘了设置合适的健康检查探针，TensorFlow服务的liveness/readiness探针能避免流量转发到未就绪实例。

Sam353 · 2026-01-08T10:24:58

后端协议HTTP配置没问题，但如果模型服务需要处理大文件或长连接，建议考虑使用gRPC或调整超时参数避免连接中断。

编程之路的点滴 · 2026-01-08T10:24:58

域名tf.example.com要确保DNS解析正确，同时建议添加TLS证书配置，TensorFlow服务暴露敏感API时必须加密传输。

Victor67 · 2026-01-08T10:24:58

部署3副本很合理，但需关注Ingress控制器的负载均衡策略，可添加nginx.ingress.kubernetes.io/load-balance: 'least_conn'优化请求分配。

Kubernetes Ingress控制器配置TensorFlow服务