LLM模型训练时出现CUDA错误的排查思路

在LLM模型训练过程中遇到CUDA错误是常见问题，需要系统性排查。首先确认环境配置：

# 检查CUDA版本
nvcc --version
nvidia-smi

# 确认PyTorch CUDA支持
python -c "import torch; print(torch.cuda.is_available())"

常见错误包括内存不足、驱动不兼容等。排查步骤：

1. 内存问题：

import torch
print(f'GPU内存: {torch.cuda.get_device_properties(0).total_memory / 1024**3:.2f} GB')
print(f'已使用: {torch.cuda.memory_allocated(0) / 1024**3:.2f} GB')

2. 降低batch size并添加内存清理：

model.train()
for batch in dataloader:
    optimizer.zero_grad()
    output = model(batch)
    loss = criterion(output, target)
    loss.backward()
    optimizer.step()
    torch.cuda.empty_cache()  # 清理缓存

3. 检查驱动兼容性：确保CUDA版本与显卡驱动匹配，建议使用nvidia-docker运行环境。

4. 验证模型配置：

# 设置混合精度训练
from torch.cuda.amp import GradScaler, autocast
scaler = GradScaler()

with autocast():
    output = model(input)
    loss = criterion(output, target)

建议在社区分享相关工具脚本，如内存监控脚本或自动化排查工具。