模型训练前数据质量评估方法论

在大模型训练过程中，数据质量直接决定了模型性能。本文将分享一套完整的数据质量评估方法论，帮助数据科学家在训练前识别潜在问题。

1. 数据完整性检查

import pandas as pd
import numpy as np

def check_data_completeness(df):
    # 检查缺失值
    missing_values = df.isnull().sum()
    missing_percent = (missing_values / len(df)) * 100
    completeness_report = pd.DataFrame({
        'Missing_Count': missing_values,
        'Missing_Percent': missing_percent
    })
    return completeness_report[completeness_report['Missing_Percent'] > 0]

2. 数据一致性验证

# 检查数值范围合理性
numeric_columns = df.select_dtypes(include=[np.number]).columns
for col in numeric_columns:
    Q1 = df[col].quantile(0.25)
    Q3 = df[col].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    outliers = df[(df[col] < lower_bound) | (df[col] > upper_bound)]
    print(f"{col} 异常值数量: {len(outliers)}")

3. 数据分布分析

# 检查标签分布是否均衡
if 'label' in df.columns:
    label_distribution = df['label'].value_counts()
    print("标签分布:")
    print(label_distribution)
    # 可视化分布
    import matplotlib.pyplot as plt
    label_distribution.plot(kind='bar')
    plt.title('标签分布')
    plt.show()

4. 复杂数据质量检查

• 重复数据检测：使用df.duplicated()
• 异常值识别：基于统计学方法或业务规则
• 格式一致性：统一日期、文本格式等

通过以上步骤，可以在模型训练前及时发现并处理数据质量问题，提升模型效果。