微调模型量化压缩后精度下降问题记录
在LLM工程化微调实践中，我们经常遇到量化压缩导致的精度下降问题。本文记录一次典型的LoRA微调后量化导致的精度问题。
问题现象
使用LoRA微调后的模型，在进行INT8量化时，推理准确率下降明显。以中文问答任务为例，原始微调模型在验证集上准确率为87.2%，量化后降至63.4%。
复现步骤
- LoRA微调：
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("bert-base-chinese")
config = LoraConfig(r=8, lora_alpha=32, target_modules=["query", "value"])
model = get_peft_model(model, config)
- 量化压缩：
from transformers import GPTQConfig
quantization_config = GPTQConfig(bits=4, group_size=128)
model.quantize(quantization_config)
解决方案
- 调整LoRA参数：增大r值至16，降低lora_alpha至16
- 优化量化配置：使用更精细的group_size=64
- 分层量化：对不同层采用不同精度
工程建议
在工程实践中，应建立量化前后的性能对比机制，确保压缩后模型满足业务指标要求。
讨论