Sqoop数据同步中的字符集转换问题

Sqoop数据同步中的字符集转换问题复盘

在Hadoop生态实践中，Sqoop作为连接关系型数据库与HDFS的重要工具，经常遇到字符集转换问题。本文通过实际案例总结解决方案。

问题现象

某金融项目使用Sqoop从Oracle数据库同步客户信息到HDFS，发现中文字段出现乱码。通过hdfs dfs -cat查看文件内容，发现原本的中文字符显示为�符号或乱码。

复现步骤

创建测试表：

CREATE TABLE test_user (
  id NUMBER,
  name VARCHAR2(50),
  address VARCHAR2(100)
);
INSERT INTO test_user VALUES (1, '张三', '北京市朝阳区');

执行Sqoop同步命令：

sqoop export \
  --connect jdbc:oracle:thin:@//localhost:1521/orcl \
  --username test_user \
  --password test_pass \
  --table test_user \
  --hive-import \
  --target-dir /user/test/user_data

查看结果发现中文乱码。

根本原因

Sqoop默认使用JVM默认字符集，而Oracle数据库使用AL32UTF8字符集。在数据传输过程中，编码不一致导致字符转换异常。

解决方案

方案一：设置JVM字符集参数

sqoop export \
  --connect jdbc:oracle:thin:@//localhost:1521/orcl \
  --username test_user \
  --password test_pass \
  --table test_user \
  --hive-import \
  --target-dir /user/test/user_data \
  --driver oracle.jdbc.driver.OracleDriver \
  --options-file /path/to/sqoop.conf

在sqoop.conf中添加：

-Dfile.encoding=UTF-8
-Doracle.jdbc.convertNcharLiterals=true

方案二：数据库层面配置

-- 在连接字符串中指定字符集
jdbc:oracle:thin:@//localhost:1521/orcl?useUnicode=true&characterEncoding=UTF-8

验证方法

同步完成后，使用以下命令验证数据正确性：

hdfs dfs -text /user/test/user_data/part-m-00000 | head -n 5

通过以上方案，字符集转换问题得到解决，确保了数据同步的准确性。