Horovod训练框架版本兼容性问题踩坑记录
最近在部署多机多卡分布式训练环境时，遇到了一个令人头疼的Horovod版本兼容性问题。项目中使用PyTorch 2.0 + CUDA 11.8环境，本以为一切顺利，结果却在训练启动时频繁报错。
问题现象
RuntimeError: NCCL error: invalid usage
RuntimeError: NCCL error: system error
复现步骤
-
环境配置：
- PyTorch 2.0.1
- CUDA 11.8
- Horovod 0.28.1
- NCCL 2.12.12
-
启动脚本：
horovodrun -np 4 -H node0:2,node1:2 python train.py
- 训练代码片段：
import torch
import horovod.torch as hvd
hvd.init()
hvd.broadcast_parameters(model.state_dict(), root_rank=0)
排查过程
经过反复测试，发现是Horovod版本与CUDA版本不兼容。在尝试了多个组合后，最终确定：
- 失败组合：Horovod 0.28.1 + CUDA 11.8
- 成功组合：Horovod 0.29.0 + CUDA 11.8 或 Horovod 0.28.1 + CUDA 11.7
解决方案
升级到Horovod 0.29.0版本，并确保所有节点的CUDA环境一致。
建议在生产环境中统一使用官方推荐的版本组合，避免此类问题。
讨论