文本数据清洗自动化脚本分享

在大模型训练过程中，文本数据清洗是至关重要的预处理环节。本文分享一个自动化文本清洗脚本，帮助数据科学家高效处理训练数据。

清洗步骤

1. 去除特殊字符：使用正则表达式过滤非字母数字字符
2. 统一大小写：将所有文本转换为小写
3. 去除多余空格：清理多余的空白字符
4. 标准化标点：统一处理各种标点符号

核心代码

import re
import pandas as pd

def clean_text(text):
    # 转换为小写
    text = text.lower()
    # 去除特殊字符，保留字母、数字和空格
    text = re.sub(r'[^a-zA-Z0-9\s]', '', text)
    # 去除多余空格
    text = re.sub(r'\s+', ' ', text).strip()
    return text

# 应用清洗函数
df['cleaned_text'] = df['raw_text'].apply(clean_text)

使用建议

该脚本适用于大多数文本数据预处理场景，可根据具体需求调整正则表达式模式。建议在应用前先对样本数据进行验证，确保清洗效果符合预期。