特征工程中的异常值检测方法

特征工程中的异常值检测方法

在大模型训练数据处理中，异常值检测是特征工程的关键环节。异常值不仅会影响模型性能，还可能导致训练过程不稳定。

常用检测方法

1. 统计方法 基于标准差的Z-score方法：|z| > 3 判定为异常值

import numpy as np
from scipy import stats
z_scores = np.abs(stats.zscore(data))
outliers = np.where(z_scores > 3)

2. 箱线图方法 使用IQR（四分位距）检测：Q1 - 1.5×IQR < x < Q3 + 1.5×IQR

Q1 = np.percentile(data, 25)
Q3 = np.percentile(data, 75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

3. 机器学习方法 使用Isolation Forest进行无监督异常检测，特别适合高维数据。

from sklearn.ensemble import IsolationForest
iso_forest = IsolationForest(contamination=0.1)
outlier_labels = iso_forest.fit_predict(data)

数据工程实践

在大模型训练中，建议采用多方法结合策略，先用统计方法快速筛查，再用机器学习方法精确定位。注意保存异常值索引以便后续分析，避免数据泄露。

复现步骤

1. 加载数据集（确保无敏感信息）
2. 使用Z-score方法检测初步异常值
3. 应用IQR方法验证结果
4. 选择合适的处理策略（删除/替换/保留）