多版本TensorFlow模型并行部署策略研究

多版本TensorFlow模型并行部署策略研究

最近在实践TensorFlow Serving微服务架构时，踩了一个大坑——多版本模型并行部署。原本以为只要启动多个serving实例就能解决版本兼容问题，结果发现实际操作比想象复杂得多。

问题背景

我们有三个版本的模型：v1.0、v2.0和v3.0，都需要同时提供服务。最初的方案是分别启动三个容器：

# 启动v1.0模型
sudo docker run -p 8501:8501 \
    --mount type=bind,source=/models/v1.0,target=/models/model \
    tensorflow/serving:latest \
    --model_name=model_v1 \
    --model_base_path=/models/model

# 启动v2.0模型
sudo docker run -p 8502:8501 \
    --mount type=bind,source=/models/v2.0,target=/models/model \
    tensorflow/serving:latest \
    --model_name=model_v2 \
    --model_base_path=/models/model

真正的坑点

1. 端口冲突：多个实例都监听8501端口，导致服务无法正常启动
2. 负载均衡器配置：nginx反向代理需要精确配置路由规则
3. 模型版本管理：必须确保每个服务实例对应正确的模型版本

解决方案

使用docker-compose统一管理，核心配置如下：

version: '3'

services:
  tf-serving-v1:
    image: tensorflow/serving:latest
    ports:
      - "8501:8501"
    volumes:
      - ./models/v1.0:/models/model
    command: \
      tensorflow_model_server \
      --model_name=model_v1 \
      --model_base_path=/models/model \
      --rest_api_port=8501

  tf-serving-v2:
    image: tensorflow/serving:latest
    ports:
      - "8502:8501"
    volumes:
      - ./models/v2.0:/models/model
    command: \
      tensorflow_model_server \
      --model_name=model_v2 \
      --model_base_path=/models/model \
      --rest_api_port=8501

配合nginx负载均衡配置：

upstream tf_serving {
    server 127.0.0.1:8501 weight=1;
    server 127.0.0.1:8502 weight=1;
}

server {
    listen 80;
    location /v1/ {
        proxy_pass http://tf_serving/v1/;
    }
    location /v2/ {
        proxy_pass http://tf_serving/v2/;
    }
}

关键教训

• Docker容器化部署必须注意端口映射和资源隔离
• 负载均衡配置要精确控制请求路由，避免版本混淆
• 模型版本管理需要严格的目录结构和命名规范