多任务学习中损失权重设置踩坑记录

多任务学习中损失权重设置踩坑记录

在大语言模型的多任务微调实践中，我们遇到了一个典型的损失权重设置问题。以LoRA微调为例，在同时训练多个下游任务时，不同任务的损失值差异巨大，导致模型倾向于优先优化损失较大的任务。

问题复现步骤：

1. 准备三个任务：文本分类(损失约0.1)、问答生成(损失约5.0)、摘要生成(损失约3.0)
2. 使用默认的相同权重：loss_total = loss_task1 + loss_task2 + loss_task3
3. 观察到模型在任务2和3上表现良好，但任务1完全失效

解决方案：

# 方法一：动态权重调整
loss_weights = [1.0, 0.1, 0.2]  # 根据损失范围调整
loss_total = loss_task1 * loss_weights[0] + \
              loss_task2 * loss_weights[1] + \
              loss_task3 * loss_weights[2]

# 方法二：基于任务难度的自适应权重
class AdaptiveWeight:
    def __init__(self, decay_rate=0.95):
        self.weights = [1.0, 1.0, 1.0]
        self.decay_rate = decay_rate
    
    def update_weights(self, losses):
        # 根据当前loss调整权重
        total_loss = sum(losses)
        for i, loss in enumerate(losses):
            if total_loss > 0:
                self.weights[i] = (1.0 / (loss + 1e-6)) * (total_loss / len(losses))

实践建议：

在使用LoRA或Adapter微调时，务必根据具体任务损失范围进行权重归一化处理，避免梯度爆炸或梯度消失问题。