多机训练中资源利用率监控踩坑记录
最近在部署多机分布式训练时，发现了一个令人头疼的问题：虽然模型训练看起来在正常运行，但实际资源利用率却远低于预期。
问题现象
使用PyTorch Distributed训练时，通过nvidia-smi观察到GPU显存占用率只有30-40%，而CPU使用率却高达90%以上。这明显不是正常的分布式训练状态。
排查过程
首先检查了基本配置：
# 启动命令示例
python -m torch.distributed.launch \
--nproc_per_node=4 \
--nnodes=2 \
--node_rank=0 \
--master_addr="192.168.1.100" \
--master_port=12345 \
train.py
然后发现配置问题：
# train.py中未正确设置数据加载器
train_loader = DataLoader(dataset, batch_size=32, num_workers=8)
# 应该改为
train_loader = DataLoader(dataset, batch_size=32, num_workers=4, pin_memory=True)
解决方案
- 优化DataLoader配置：增加
pin_memory=True和合理设置num_workers - 调整batch size：从32调整到64，减少通信开销
- 监控脚本：
import torch.distributed as dist
import time
def monitor_resources():
if dist.is_initialized() and dist.get_rank() == 0:
print(f"GPU Util: {torch.cuda.utilization()}%")
关键教训
多机训练中，数据加载和通信效率直接影响整体性能。建议在部署前先跑一个小型测试集来验证资源利用率。
复现步骤
- 启动两个节点的训练任务
- 监控GPU/CPU使用率
- 检查DataLoader配置
- 调整参数后重新测试
讨论