在多节点大模型训练环境中，Linux系统参数调优是确保训练效率和稳定性的重要环节。本文将分享一套可复现的调优方案，帮助你在分布式训练中充分发挥硬件性能。
1. 网络参数优化
首先，调整TCP缓冲区大小以提升网络传输效率：
# 增加TCP发送和接收缓冲区大小
sudo sysctl -w net.core.rmem_max=134217728
sudo sysctl -w net.core.wmem_max=134217728
sudo sysctl -w net.ipv4.tcp_rmem="4096 87380 134217728"
sudo sysctl -w net.ipv4.tcp_wmem="4096 65536 134217728"
为确保重启后设置生效，添加到 /etc/sysctl.conf 中。
2. 文件系统优化
大模型训练涉及大量IO操作，建议启用异步IO：
# 设置异步IO最大请求数
sudo sysctl -w fs.aio-max-nr=1048576
同时调整文件描述符限制：
# 增加文件描述符上限
ulimit -n 65536
3. 内存管理优化
为避免频繁swap，建议设置内存回收策略：
# 调整内存回收参数
sudo sysctl -w vm.swappiness=1
sudo sysctl -w vm.dirty_ratio=15
sudo sysctl -w vm.dirty_background_ratio=5
4. CPU调度优化
启用SCHED_FIFO实时调度策略以减少任务延迟：
# 配置CPU调度器
echo deadline > /sys/block/sda/queue/scheduler
以上参数需根据具体硬件配置进行微调，建议在测试环境中验证效果。
讨论