多机训练环境变量配置最佳实践

多机训练环境变量配置最佳实践

在多机训练环境中，环境变量的正确配置是性能优化的关键。本文将分享一些踩坑经验，帮助大家避免常见问题。

核心环境变量配置

首先，必须设置以下关键环境变量：

export NCCL_SOCKET_IFNAME=eth0
export NCCL_IB_DISABLE=0
export NCCL_NET_GDR_LEVEL=2

Horovod配置踩坑记录

在使用Horovod时，我曾遇到过以下问题：

1. 网络通信超时：最初忘记设置NCCL_SOCKET_IFNAME，导致训练启动失败。解决方法是明确指定网卡名称。
2. GPU内存分配冲突：通过设置export HOROVOD_GPU_ALLREDUCE=NCCL来强制使用NCCL后端。

PyTorch Distributed配置示例

import torch.distributed as dist
import os

def setup_distributed():
    os.environ['MASTER_ADDR'] = '192.168.1.100'
    os.environ['MASTER_PORT'] = '12345'
    dist.init_process_group('nccl', rank=0, world_size=4)

性能优化建议

• 确保所有节点的网卡配置一致
• 优先使用InfiniBand网络而非以太网
• 合理设置NCCL_BLOCKING_WAIT参数来平衡吞吐和延迟

通过以上配置，训练性能提升了约20%。记住：环境变量的正确配置是多机训练成功的基石。