特征工程数据处理技巧

在大模型训练中，特征工程是决定模型性能的关键环节。本文将分享几个实用的特征工程数据处理技巧。

1. 异常值检测与处理

使用IQR方法识别异常值：

import numpy as np
import pandas as pd

def remove_outliers_iqr(df, column):
    Q1 = df[column].quantile(0.25)
    Q3 = df[column].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    return df[(df[column] >= lower_bound) & (df[column] <= upper_bound)]

2. 分类变量编码优化

使用Target Encoding替代One-Hot Encoding：

from sklearn.model_selection import KFold
import numpy as np

def target_encoding(train_df, test_df, feature, target):
    # 计算每个类别对应的均值
    encoding_map = train_df.groupby(feature)[target].mean().to_dict()
    test_df[feature + '_encoded'] = test_df[feature].map(encoding_map)
    return test_df

3. 特征缩放标准化

对数值特征进行标准化处理：

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
train_scaled = scaler.fit_transform(train_data)
test_scaled = scaler.transform(test_data)

这些技巧可显著提升模型训练效率和准确性，建议在实际项目中灵活运用。