深度学习训练中模型泛化能力提升技巧
最近在做大规模分布式训练时，发现模型过拟合问题特别严重，经过多次踩坑总结出几个实用技巧。
1. 学习率调度器优化 使用余弦退火+Warmup策略，避免直接用固定学习率。
from torch.optim.lr_scheduler import CosineAnnealingLR, LinearLR
# warmup前5个epoch线性增长
warmup_scheduler = LinearLR(optimizer, start_factor=0.1, total_iters=5)
# 主训练阶段余弦退火
main_scheduler = CosineAnnealingLR(optimizer, T_max=epochs-5)
2. 数据增强策略 针对图像任务，使用MixUp + CutMix组合拳。
# MixUp增强
mixup = MixUp(alpha=0.2)
# CutMix增强
cutmix = CutMix(alpha=1.0)
3. 权重衰减调优 在分布式训练中，发现L2正则化系数从1e-4调整到5e-5效果更好。
4. 梯度裁剪 使用梯度范数裁剪防止梯度爆炸。
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
5. 模型集成策略 训练多个不同初始化的模型，最后做平均。
实践建议：先在小数据集验证效果，再扩展到完整训练集。
讨论