流水线中部署过程监控方案

流水线中部署过程监控方案踩坑记录

最近在优化CI/CD流水线时，发现部署阶段缺乏有效监控，导致问题定位困难。分享一下我们团队的踩坑经验。

问题背景

部署阶段耗时不稳定，偶尔出现部署失败但无明确错误信息的情况。通过分析发现，传统的日志记录方式无法满足实时监控需求。

解决方案

我们采用了以下监控方案：

stages:
  - stage: Deploy
    jobs:
      - job: DeployApp
        steps:
          - task: Bash@3
            inputs:
              targetType: inline
              script: |
                echo "##vso[task.setvariable variable=deploy_start_time]$(date +%s)"
                # 部署逻辑
                kubectl set image deployment/myapp myapp=nginx:1.20
                echo "Deployment started at $(date)"
                
                # 增加部署状态监控
                while true; do
                  status=$(kubectl get deployment/myapp -o jsonpath='{.status.conditions[?(@.type=="Available")].status}')
                  if [ "$status" == "True" ]; then
                    echo "Deployment successful"
                    break
                  fi
                  sleep 5
                done
                
                echo "##vso[task.setvariable variable=deploy_end_time]$(date +%s)"

关键踩坑点

1. 变量设置时机：setvariable必须在任务执行期间设置，不能在脚本外使用
2. 状态轮询间隔：过短会导致API调用频繁，建议5-10秒间隔
3. 超时处理：添加部署超时机制避免无限等待

监控面板配置

通过Azure DevOps的测试结果报告功能，我们配置了以下监控指标：

• 部署成功率
• 平均部署时间
• 失败重试次数

这个方案解决了我们部署过程中的信息不透明问题，建议在生产环境部署前先在测试环境验证。