踩坑总结：微调过程中遇到的模型过拟合和欠拟合

在LLM微调实践中，模型过拟合和欠拟合是两大常见问题。本文基于LoRA微调方案，分享实际踩坑经验。

过拟合现象分析 在使用LoRA微调时，当训练集准确率达到95%以上但验证集下降明显时即出现过拟合。解决方法：

1. 调整学习率：从3e-4降至1e-4
2. 增加正则化：在LoRA配置中添加lora_dropout=0.1
3. 早停策略：设置early_stopping_patience=3

from transformers import LoraConfig
lora_config = LoraConfig(
    r=64,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.1,
    bias="none"
)

欠拟合识别与优化 当训练集和验证集准确率均低于预期时，需要增强模型表达能力。具体措施：

• 增大LoRA秩r值至128
• 降低正则化强度
• 使用更复杂的adapter结构

在实际项目中，我们发现通过调整LoRA配置参数可有效解决这两类问题，建议根据数据集规模动态调整训练策略。