多模型微调时权重融合方法踩坑记录

在多模型微调场景下，权重融合是实现模型集成的关键环节。近期在实践过程中踩了不少坑，特此记录。

踩坑背景

使用LoRA微调了三个不同数据集的模型，需要将它们的权重进行融合以生成最终模型。最初尝试直接拼接LoRA权重，结果导致模型输出异常。

问题分析

核心问题是不同模型的LoRA适配器维度不一致，以及权重缩放因子不同。在融合前必须对每个LoRA矩阵进行归一化处理。

解决方案

采用加权平均方式融合LoRA权重：

import torch

def fuse_lora_weights(lora_weights_list, weights):
    fused = {}
    for key in lora_weights_list[0].keys():
        if 'lora' in key:
            # 获取所有模型的对应权重
            weight_list = [w[key] for w in lora_weights_list]
            # 加权平均融合
            fused[key] = torch.stack(weight_list).mul(torch.tensor(weights)).sum(dim=0)
        else:
            fused[key] = lora_weights_list[0][key]
    return fused

# 使用示例
lora1 = torch.load('model1_lora.pt')
lora2 = torch.load('model2_lora.pt')
lora3 = torch.load('model3_lora.pt')
weights = [0.3, 0.4, 0.3]  # 权重分配
fused_weights = fuse_lora_weights([lora1, lora2, lora3], weights)

注意事项

• 确保所有LoRA适配器维度一致
• 融合前需进行权重归一化
• 保持原始模型结构不变

此方法在实际项目中验证有效，可作为多模型融合的标准流程。