跨平台训练框架兼容性测试踩坑记录
最近在进行多机多卡分布式训练时，遇到了一个令人头疼的兼容性问题。项目使用PyTorch Distributed，但在不同服务器环境下表现差异巨大。
问题复现
配置环境：Ubuntu 20.04 + PyTorch 1.10 + CUDA 11.3 首先按照官方文档配置了基本环境：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
然后使用以下代码启动训练：
import torch.distributed as dist
import torch.multiprocessing as mp
def setup(rank, world_size):
dist.init_process_group("nccl", rank=rank, world_size=world_size)
if __name__ == "__main__":
world_size = 4
mp.spawn(train, args=(world_size,), nprocs=world_size, join=True)
遇到的坑
- NCCL版本不匹配：在某台服务器上出现
NCCL version mismatch错误，通过nvcc --version和nccl --version对比发现版本不一致 - 网络环境差异：同一套代码在两个不同网络环境下表现完全不同，一台服务器能正常训练，另一台报错
Address already in use - GPU驱动兼容性：部分节点的GPU驱动版本过低，导致通信失败
解决方案
- 严格统一环境版本：
# 强制安装指定版本
pip install torch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 --index-url https://download.pytorch.org/whl/cu113
- 指定网络接口：
export NCCL_SOCKET_IFNAME=eth0 - 设置超时时间：
export NCCL_BLOCKING_WAIT=1000
建议在跨平台部署前，先进行环境一致性检查，避免后期调试成本过高。
讨论