微调数据清洗标准化流程构建
在LLM微调工程化实践中，数据质量直接影响模型性能。本文将构建一套可复现的LoRA微调数据清洗标准化流程。
核心清洗步骤
- 重复内容去重：使用MinHash算法进行文档相似度计算
from datasketch import MinHash, MinHashLSH
import hashlib
def get_minhash(text):
m = MinHash(num_perm=128)
for word in text.split():
m.update(word.encode('utf8'))
return m
# 批量处理文档
minhashes = [get_minhash(doc) for doc in documents]
- 质量评分过滤：基于词汇多样性、句子长度等指标
import nltk
from collections import Counter
def quality_score(text):
words = nltk.word_tokenize(text)
unique_ratio = len(set(words)) / len(words)
avg_sent_length = np.mean([len(s.split()) for s in text.split('.')])
return unique_ratio * avg_sent_length
- LoRA适配器数据准备：生成标准化格式
# 构建训练样本
train_data = []
for doc in clean_documents:
prompt = f"请根据以下内容进行回答：{doc[:100]}"
response = doc
train_data.append({
"prompt": prompt,
"response": response,
"adapter_name": "lora_adapter_01"
})
Adapter微调数据适配
Adapter层需要特定格式，将清洗后的数据按模块化方式组织，便于后续LoRA和Adapter并行训练。
该流程可复用于不同领域微调场景，确保数据质量一致性。
讨论