在大模型训练中，数据分布异常检测是特征工程的关键环节。本文将对比几种主流的异常检测方法，并提供可复现的实现方案。
1. 基于统计学的方法
使用Z-Score检测异常值是最基础的方法。对于特征X，计算其均值μ和标准差σ，当|z-score| > 3时判定为异常点：
import numpy as np
from scipy import stats
# Z-Score异常检测
def zscore_outliers(data, threshold=3):
z_scores = np.abs(stats.zscore(data))
return np.where(z_scores > threshold)[0]
2. 基于机器学习的方法
使用Isolation Forest进行无监督异常检测：
from sklearn.ensemble import IsolationForest
# Isolation Forest异常检测
def isolation_forest_outliers(data, contamination=0.1):
clf = IsolationForest(contamination=contamination, random_state=42)
clf.fit(data.reshape(-1, 1))
return np.where(clf.predict(data.reshape(-1, 1)) == -1)[0]
3. 实际应用建议
在实际数据工程中，建议组合使用多种方法：先用统计方法快速筛选，再用机器学习模型进行精细检测。同时要结合业务场景，避免将正常但罕见的样本误判为异常。
4. 数据清洗实践
异常值处理可选择删除、替换或变换，具体策略需根据数据分布特征和模型需求决定。
讨论