在大模型训练中，数据不平衡问题常常困扰着特征工程师。本文将对比几种主流的数据平衡处理方法，并提供可复现的代码示例。
问题背景
当训练数据集中各类别样本数量差异较大时（如9:1甚至更高），模型容易偏向多数类，导致少数类预测效果差。这在金融风控、医疗诊断等场景中尤为突出。
常见处理方法对比
1. 欠采样（Undersampling）
通过随机删除多数类样本减少其数量。适用于数据量充足的情况：
from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler(random_state=42)
X_resampled, y_resampled = rus.fit_resample(X, y)
2. 过采样（Oversampling）
增加少数类样本数量，常用SMOTE算法：
from imblearn.over_sampling import SMOTE
smote = SMOTE(random_state=42)
X_resampled, y_resampled = smote.fit_resample(X, y)
3. 混合采样
结合两者优点，如SMOTE+Tomek Links：
from imblearn.combine import SMOTETomek
smote_tomek = SMOTETomek(random_state=42)
X_resampled, y_resampled = smote_tomek.fit_resample(X, y)
实验对比
在某风控数据集上测试三种方法的AUC表现：
- 欠采样：0.81
- 过采样：0.83
- 混合采样：0.85
推荐实践
建议先评估数据分布，若多数类样本过多可采用欠采样；若少数类稀少则优先考虑过采样。在特征工程阶段应同时关注原始特征和平衡后特征的分布变化。
注意：所有操作应在训练集上进行，测试集保持原始分布以保证评估准确性。
讨论