数据质量评估指标体系构建与应用案例分享

数据质量评估指标体系构建与应用案例分享

在大模型训练过程中，数据质量直接影响模型性能。本文将分享一套完整的数据质量评估指标体系及其实际应用。

核心评估指标

1. 完整性指标

import pandas as pd
import numpy as np

def calculate_completeness(df):
    completeness = (df.notnull().sum() / len(df)) * 100
    return completeness

2. 一致性指标

# 检查数据类型一致性
def check_consistency(df):
    consistency_score = {}
    for col in df.columns:
        if df[col].dtype == 'object':
            # 检查字符串格式统一性
            consistency_score[col] = 1 - (df[col].str.len().std() / df[col].str.len().mean())
    return consistency_score

3. 噪声检测 使用统计方法识别异常值：

from scipy import stats

def detect_outliers(df, threshold=3):
    z_scores = np.abs(stats.zscore(df.select_dtypes(include=[np.number])))
    return z_scores > threshold

实际应用案例

以某推荐系统数据集为例，通过上述指标构建评估报告，发现约15%的记录存在缺失值，3%存在异常值，为后续数据清洗提供明确方向。

建议在特征工程阶段优先处理低质量数据，提升模型训练效率。