微调模型保存格式选择不当导致的问题
在LLM微调工程化实践中，我们经常遇到一个容易被忽视但影响重大的问题：模型保存格式的选择。最近一个项目中，团队在使用LoRA微调方案时，由于错误地选择了不合适的模型保存格式，导致后续推理时出现严重兼容性问题。
问题重现
我们采用LoRA微调方法对Qwen-7B进行指令微调，训练过程中一切正常。但在保存模型时，我们使用了model.save_pretrained()的默认格式，而非针对LoRA结构的专门格式。具体代码如下：
# 错误示例
adapter = LoRAConfig(
r=8,
lora_alpha=32,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.1
)
model = get_peft_model(model, adapter)
# 这里保存了完整的模型权重，包含LoRA层和原始参数
model.save_pretrained("./lora_model") # 错误：未指定格式
后果分析
当后续加载模型时，使用标准transformers库的AutoModel.from_pretrained()方法加载该目录时，会出现以下错误：
ValueError: Error no file named pytorch_model.bin in ./lora_model
这是因为LoRA微调后的模型结构复杂，包含多个权重文件和配置文件。如果保存格式不正确，会丢失关键的LoRA层信息。
正确做法
正确的做法是使用save_pretrained方法时指定LoRA专用格式：
# 正确示例
from peft import save_peft_model
# 保存LoRA模型
save_peft_model(model, "./lora_model")
# 或者
model.save_pretrained("./lora_model", safe_serialization=True)
工程化建议
- 在CI/CD流程中加入模型格式验证步骤
- 使用统一的模型保存脚本，避免人为疏忽
- 建立模型加载测试用例，确保兼容性
在实际项目中，我们通过引入模型保存检查机制，成功避免了此类问题的再次发生。这提醒我们在工程化实践中，细节决定成败。
讨论