在开源大模型微调实践中，数据集划分不均是一个常见但容易被忽视的问题。当训练、验证和测试集的分布存在显著差异时，会导致模型在特定子集上表现优异，但在其他子集上泛化能力差。
问题现象
以文本分类任务为例，若训练集中正负样本比例为9:1，而验证集为5:5，则模型会偏向于训练集的分布特征，导致验证准确率下降。
复现步骤
- 准备数据集：使用
train_test_split划分数据
from sklearn.model_selection import train_test_split
X_train, X_temp, y_train, y_temp = train_test_split(X, y, test_size=0.3, random_state=42)
X_val, X_test, y_val, y_test = train_test_split(X_temp, y_temp, test_size=0.5, random_state=42)
- 检查分布：
import pandas as pd
print("训练集分布：", pd.Series(y_train).value_counts())
print("验证集分布：", pd.Series(y_val).value_counts())
解决方案
推荐使用分层抽样确保各集合样本比例一致。对于不平衡数据集，应采用重采样技术或损失函数调整。
最佳实践
- 在划分前先统计各类别占比
- 使用
stratify参数保持分布一致性 - 部署前进行交叉验证测试
讨论