基于规则的数据清洗自动化脚本实现

基于规则的数据清洗自动化脚本实现

在大模型训练过程中，数据质量直接影响模型性能。本文介绍一种基于规则的数据清洗自动化方案，帮助数据工程师快速构建可复用的清洗流程。

核心思路

通过定义清洗规则配置文件，实现数据清洗逻辑的模块化和可配置化。主要处理以下几类问题：

1. 缺失值处理 - 识别并处理数值型、文本型字段的空值
2. 异常值检测 - 基于统计学方法识别离群点
3. 重复数据去重 - 按关键字段进行去重
4. 格式标准化 - 统一日期、电话号码等格式

实现代码示例

import pandas as pd
import numpy as np
from datetime import datetime

class DataCleaner:
    def __init__(self, config):
        self.config = config
    
    def clean(self, df):
        # 按规则处理缺失值
        for col, rule in self.config['missing_rules'].items():
            if rule == 'drop':
                df = df.dropna(subset=[col])
            elif rule == 'fill_mean':
                df[col] = df[col].fillna(df[col].mean())
        
        # 异常值处理
        for col, threshold in self.config['outlier_rules'].items():
            Q1 = df[col].quantile(0.25)
            Q3 = df[col].quantile(0.75)
            IQR = Q3 - Q1
            lower_bound = Q1 - threshold * IQR
            upper_bound = Q3 + threshold * IQR
            df = df[(df[col] >= lower_bound) & (df[col] <= upper_bound)]
        
        # 去重处理
        df = df.drop_duplicates(subset=self.config['dedup_columns'])
        
        return df

# 配置示例
config = {
    'missing_rules': {'age': 'fill_mean', 'income': 'drop'},
    'outlier_rules': {'age': 1.5, 'income': 3.0},
    'dedup_columns': ['user_id', 'timestamp']
}

cleaner = DataCleaner(config)
# df_cleaned = cleaner.clean(df_original)

使用建议

• 将清洗规则封装为JSON配置文件，便于团队协作
• 结合ETL工具链实现批处理自动化
• 定期评估清洗效果，迭代优化规则

此方案可有效提升大模型数据预处理效率，为高质量特征工程奠定基础。