模型部署自动化脚本编写踩坑记录
最近在为公司机器学习平台搭建自动化部署脚本时，踩了几个大坑，分享一下具体实现方案。
核心监控指标配置
首先必须明确监控维度：
- 模型性能指标：准确率、召回率、F1-score等核心业务指标
- 系统资源指标：CPU使用率、内存占用、GPU利用率
- 服务健康指标：请求响应时间、错误率、吞吐量
实际部署脚本示例
#!/bin/bash
# 部署自动化脚本
cd /opt/model-deploy
# 1. 拉取最新代码
if ! git pull origin main; then
echo "Git拉取失败，停止部署"
exit 1
fi
# 2. 构建Docker镜像
if ! docker build -t model-service:$(git rev-parse --short HEAD) .; then
echo "镜像构建失败"
exit 1
fi
# 3. 启动容器并配置监控
CONTAINER_ID=$(docker run -d \
--name model-$(date +%s) \
-p 8000:8000 \
--restart=always \
model-service:$(git rev-parse --short HEAD))
# 4. 配置Prometheus监控
# 增加监控指标收集
if ! curl -X POST http://localhost:9090/api/v1/alerts -d '{"labels":{"service":"model-service","container_id":"'$CONTAINER_ID'"},"annotations":{"summary":"模型服务启动成功"}}'; then
echo "监控配置失败"
exit 1
fi
# 5. 告警配置测试
if ! curl -X POST http://alert-manager:9093/api/v1/alerts -d '{"status":"firing","alerts":[{"labels":{"alertname":"ModelPerformanceDegraded","severity":"warning"},"annotations":{"summary":"模型性能下降超过阈值"}}]}'; then
echo "告警测试失败"
exit 1
fi
# 6. 健康检查
sleep 10
if ! curl -f http://localhost:8000/health; then
echo "健康检查失败，回滚部署"
docker stop $CONTAINER_ID
exit 1
fi
echo "部署成功，容器ID：$CONTAINER_ID"
告警配置方案
建议配置以下告警规则：
- 性能告警：准确率下降超过5%触发警告
- 资源告警：CPU使用率持续超过80%触发严重告警
- 服务告警：响应时间超过3秒触发警告
踩坑总结
- 忘记配置容器重启策略导致服务中断
- 监控指标收集不完整导致告警误报
- 健康检查逻辑不够完善
建议使用docker-compose管理多容器部署，提升稳定性。
讨论