在大模型训练前的数据预处理阶段，数据标准化是至关重要的一步。本文将对比两种常见的标准化方法：Z-score标准化和Min-Max缩放，并结合实际案例展示其在不同场景下的表现。
Z-score标准化
Z-score标准化通过减去均值并除以标准差来实现，公式为：(x - μ) / σ。这种方法适用于数据分布近似正态分布的情况。
import numpy as np
from sklearn.preprocessing import StandardScaler
# 示例数据
np.random.seed(42)
data = np.random.normal(50, 15, 1000)
# Z-score标准化
scaler_z = StandardScaler()
data_z = scaler_z.fit_transform(data.reshape(-1, 1))
print(f"Z-score标准化后均值: {np.mean(data_z):.4f}, 标准差: {np.std(data_z):.4f}")
Min-Max缩放
Min-Max缩放将数据线性映射到[0,1]区间，公式为：(x - min) / (max - min)。这种方法在数据分布未知或存在异常值时表现更优。
from sklearn.preprocessing import MinMaxScaler
# Min-Max缩放
scaler_minmax = MinMaxScaler()
data_minmax = scaler_minmax.fit_transform(data.reshape(-1, 1))
print(f"Min-Max缩放后最小值: {np.min(data_minmax):.4f}, 最大值: {np.max(data_minmax):.4f}")
实际对比分析
在实际的特征工程实践中，我们发现：Z-score方法更适合处理具有明确分布特性的数据；而Min-Max方法则在处理需要保持原始数据比例关系的场景中表现更佳。选择哪种方法应根据数据分布特点和模型需求来决定。
复现建议
建议在数据清洗阶段先对数据进行探索性分析，再决定采用何种标准化策略，确保预处理步骤可复现、可验证。
讨论