超参调优：批处理大小与GPU内存使用的关系

在分布式大模型训练中，批处理大小(batch size)与GPU内存使用的关系是性能调优的核心问题。本文分享一个实用的调优方法。

关键发现： 当batch size从32增加到128时，单卡GPU内存占用从15GB线性增长到42GB，但继续增大到512时，内存消耗反而出现非线性增长，达到65GB。这表明存在一个最优的batch size区间。

调优步骤：

1. 首先设置基准测试：torch.cuda.memory_allocated() 记录初始内存
2. 按照 32, 64, 128, 256, 512 的序列进行训练，每个配置运行3个epoch
3. 使用以下代码监控内存变化：

for batch_size in [32, 64, 128, 256, 512]:
    # 设置batch size
    train_loader = DataLoader(dataset, batch_size=batch_size)
    # 训练循环
    for data in train_loader:
        torch.cuda.synchronize()
        memory = torch.cuda.memory_allocated() / (1024**3)
        print(f'Batch size {batch_size}: {memory:.2f} GB')

经验总结： 建议在生产环境选择batch size为64-128之间，既保证训练稳定性又避免内存溢出。对于超大模型，可结合梯度累积技术进行优化。

注意事项：

• 每个GPU的硬件配置不同，请根据实际设备调整测试范围
• 内存监控应包含optimizer状态和梯度存储空间

该方法已在多个分布式训练场景中验证可复现。