多GPU环境下内存使用率监控方法

在多GPU环境下进行分布式大模型训练时，内存监控是性能调优的关键环节。本文将对比几种主流的内存监控方法，并分享实际调优经验。

方法一：NVIDIA SMI工具 这是最直接的方法，通过nvidia-smi命令可以实时查看每张GPU的显存使用情况。

nvidia-smi -l 1  # 每秒刷新一次

但该方法无法精确到具体进程级别。

方法二：PyTorch内置监控 通过torch.cuda.memory_allocated()和torch.cuda.memory_reserved()可以获取详细内存信息：

import torch
device = torch.device('cuda')
print(f"已分配: {torch.cuda.memory_allocated(device)/1024**2:.2f} MB")
print(f"已保留: {torch.cuda.memory_reserved(device)/1024**2:.2f} MB")

方法三：使用py-spy工具

py-spy top --pid <process_id>

可以查看内存分配热点，适合排查内存泄漏问题。

调优经验分享： 在实际项目中，我们发现通过组合使用上述三种方法效果最佳。建议先用nvidia-smi监控整体情况，再结合PyTorch API定位具体模块的内存消耗，最后使用py-spy进行深度分析。这种对比方式比单一工具更全面可靠。