HuggingFace Transformers微调时学习率调度器调优经验分享

最近在用HuggingFace Transformers进行模型微调时，踩了一个学习率调度器的坑，分享给大家避免重蹈覆辙。

问题背景：使用Trainer类训练LLaMA模型，初始设置为cosine_with_restarts调度器，学习率从5e-5降到1e-5，但训练效果很不稳定，loss震荡严重。

排查过程：

1. 首先检查了batch size设置为32，gradient accumulation steps为2，实际有效batch size为64
2. 然后尝试将调度器改为linear，发现效果好很多
3. 最终确认问题出在cosine_with_restarts的num_cycles参数设置不当，我默认使用了1，导致学习率下降过快

正确调优步骤：

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./results",
    learning_rate=5e-5,
    lr_scheduler_type="cosine_with_restarts",
    num_cycles=2,  # 关键参数调整
    warmup_steps=1000,
    # 其他配置...
)

经验总结：

• 对于大模型微调，建议优先尝试linear或cosine_with_restarts调度器
• num_cycles参数对训练稳定性影响很大，建议从2开始尝试
• 记得在验证集上观察loss变化，避免过早收敛

这个坑踩得有点冤，希望各位在使用时多加注意！