容器环境下TensorFlow服务的资源调度策略设计
踩坑记录：从单机部署到K8s集群的血泪史
作为一名后端开发，最近在社区里被问得最多的问题就是：TensorFlow Serving如何容器化部署？ 说实话，这事儿真不是简单的docker build就完事了。
Dockerfile配置方案
FROM tensorflow/serving:latest-gpu
# 暴露端口
EXPOSE 8500 8501
# 复制模型文件
COPY model /models
# 启动命令
ENTRYPOINT ["tensorflow_model_server"]
CMD ["--model_base_path=/models"]
资源调度配置
在生产环境中，我们使用了以下资源限制：
- CPU: 2核
- 内存: 4Gi
- GPU: 1个（如果支持）
负载均衡配置
apiVersion: v1
kind: Service
metadata:
name: tensorflow-serving
spec:
selector:
app: tensorflow-serving
ports:
- port: 8500
targetPort: 8500
type: LoadBalancer
核心踩坑点
- 模型路径问题：容器内必须使用绝对路径，相对路径会直接挂掉
- 端口冲突：默认端口容易被占用，建议自定义端口
- 资源限制：不设置资源限制会导致节点资源耗尽
- 健康检查：需要添加liveness探针避免服务假死
最终实践
建议使用K8s部署，配合Helm chart进行版本管理，这样既保证了服务稳定性，又便于后期维护。
讨论