微调过程中梯度裁剪策略踩坑记录

在LLM微调工程实践中，梯度裁剪是防止梯度爆炸的重要手段。最近在使用LoRA微调Qwen-7B时遇到了梯度异常问题。

问题现象：训练过程中loss突然飙升，检查发现某些参数梯度值达到1e6级别。

踩坑过程：

1. 首先尝试了基础的torch.nn.utils.clip_grad_norm_裁剪，但效果不佳
2. 后来改为torch.nn.utils.clip_grad_value_按值裁剪，仍无效
3. 最终通过组合策略解决：

# 梯度裁剪组合方案
for name, param in model.named_parameters():
    if param.requires_grad:
        # 先按范数裁剪
        torch.nn.utils.clip_grad_norm_(param, max_norm=1.0)
        # 再按值裁剪作为兜底
        torch.nn.utils.clip_grad_value_(param, 5.0)

关键发现：在LoRA微调中，需要特别关注lora_B参数的梯度变化，建议设置不同的裁剪阈值。推荐使用梯度监控工具记录每层梯度统计信息。

工程化建议：

• 在训练脚本中加入梯度检查点
• 设置不同层级的梯度裁剪阈值
• 建议在验证集上定期检查梯度分布