LoRA微调中正则化参数设置失误记录

在LoRA微调实践中，正则化参数设置不当会导致模型性能下降甚至过拟合。本文记录一次典型的参数设置失误。

问题场景：使用Qwen进行下游任务微调时，初始设置如下：

peft_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.1,
    bias="none",
    modules_to_save=["lm_head"]
)

失误表现：训练过程中发现验证集loss持续下降但测试集性能停滞不前，且模型在下游任务上出现明显过拟合。

排查过程：通过分析发现，lora_alpha设置过低（32），导致LoRA权重更新幅度不足。同时lora_dropout设置偏低，缺乏足够的正则化能力。

正确配置方案：

peft_config = LoraConfig(
    r=16,
    lora_alpha=64,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    modules_to_save=["lm_head"]
)

验证方法：通过对比训练集和验证集loss曲线差异，以及下游任务准确率变化来判断是否过拟合。建议使用早停策略配合正则化参数调整。

工程建议：在实际项目中，应根据模型规模和数据量动态调整r和lora_alpha参数，并设置合理的dropout值进行正则化。