微调踩坑实录：训练过程中遇到的硬件资源瓶颈

在LLM微调工程化实践中，硬件资源瓶颈是每个开发者都会遇到的现实问题。本文分享一次典型的训练踩坑经历。

问题背景：使用Qwen-7B模型进行LoRA微调时，显存占用持续攀升，最终导致OOM（Out of Memory）。

复现步骤：

1. 使用transformers和peft库配置LoRA参数：

from peft import LoraConfig, get_peft_model
lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.1,
    bias="none",
    task_type="CAUSAL_LM"
)
model = get_peft_model(model, lora_config)

2. 训练时发现：当batch_size设置为4时，单卡A100（80GB）显存占用达到75GB；
3. 尝试降低batch_size至2，但仍出现显存溢出；

解决方案：

• 启用gradient checkpointing：model.gradient_checkpointing_enable()
• 采用混合精度训练：torch.cuda.amp.autocast()
• 使用梯度累积：每8步更新一次参数
• 最终将batch_size设为1，显存控制在60GB以内

工程建议：在微调前务必进行资源评估，建议使用nvidia-smi监控实时显存变化。