特征选择算法在大数据场景下的应用
最近在处理一个大规模推荐系统数据集时，尝试了多种特征选择算法，踩了不少坑，分享一下经验。
问题背景
原始数据包含超过5000个特征，维度太高导致模型训练时间过长且容易过拟合。需要从海量特征中筛选出最有效的特征。
尝试的算法及结果
1. 方差阈值法（VarianceThreshold）
from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold(threshold=0.01)
X_selected = selector.fit_transform(X)
结果：简单快速，但对稀疏数据效果不佳。
2. 单变量特征选择（SelectKBest）
from sklearn.feature_selection import SelectKBest, chi2
selector = SelectKBest(score_func=chi2, k=100)
X_selected = selector.fit_transform(X, y)
注意：卡方检验对负值敏感，需要先做数据预处理。
3. 递归特征消除（RFE）
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
estimator = LogisticRegression()
selector = RFE(estimator, n_features_to_select=50)
X_selected = selector.fit_transform(X, y)
问题：计算量大，对大数据集需要分批处理。
实际应用建议
- 先用方差阈值法过滤掉完全不变的特征
- 再用互信息筛选重要特征
- 最后用L1正则化做进一步精简
推荐使用sklearn的Pipeline进行流水线操作，避免数据泄露问题。
讨论