数据清洗中的异常检测方法对比
在大模型训练数据处理中，异常值检测是特征工程的关键环节。最近在处理用户行为数据时遇到了一个典型问题：某些用户的点击率异常高，明显偏离正常分布。
常见异常检测方法对比
1. Z-Score方法（标准差法）
import numpy as np
from scipy import stats
# 计算Z-Score
z_scores = np.abs(stats.zscore(data))
outliers = data[z_scores > 3]
该方法简单易用，但对数据分布假设较强，不适合非正态分布数据。
2. IQR方法（四分位距法）
Q1 = np.percentile(data, 25)
Q3 = np.percentile(data, 75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
outliers = data[(data < lower_bound) | (data > upper_bound)]
适用于大多数分布，但对极端异常值敏感。
3. Isolation Forest（孤立森林）
from sklearn.ensemble import IsolationForest
iso_forest = IsolationForest(contamination=0.1)
outliers = iso_forest.fit_predict(data.reshape(-1, 1))
在高维数据中表现优异，适合大模型训练数据的复杂特征。
实践建议
建议根据数据分布特点选择方法，对于用户行为这种长尾分布，IQR法更稳定。同时注意避免过度清洗导致信息丢失。
踩坑提醒：不要盲目删除所有异常值，要结合业务逻辑验证异常值的真实性。
讨论