Sqoop2命令有哪些常用操作与参数？

Sqoop2 是一个用于在 Hadoop 和关系型数据库之间进行数据传输的工具，它是 Sqoop1 的升级版本，提供了更友好的 Web UI、REST API 以及更精细的权限控制，与 Sqoop1 不同，Sqoop2 采用了客户端-服务器架构，Sqoop Server 负责管理连接器和作业，而客户端（如 Sqoop CLI 或 Web UI）通过 REST API 与服务器交互，以下将详细介绍 Sqoop2 的命令使用，包括连接器配置、作业创建、执行及监控等核心操作。

Sqoop2 架构与启动

在使用 Sqoop2 命令前，需确保 Sqoop2 服务已正确启动，Sqoop2 的核心组件包括 Sqoop Server（运行于 JVM 中，管理连接器和作业）和客户端（通过 CLI 或 Web UI 与 Server 通信），启动 Sqoop Server 的命令为：

sqoop2-server start

启动后,默认监听 http://localhost:12000，可通过 Web UI 访问或使用 CLI 连接，CLI 连接命令为：

sqoop2-cli connect --host localhost --port 12000 --username admin

首次使用需创建管理员账户,通过 sqoop2-tool 工具初始化数据库（默认使用 Derby，也可配置 MySQL 等）。

连接器管理

连接器是 Sqoop2 与外部数据源交互的桥梁，常见连接器包括 JDBC（关系型数据库）、HDFS、Hive 等，使用 CLI 管理连接器的步骤如下：

1. 列出连接器
   查看当前可用的连接器：

   sqoop:000> show connectors

   输出示例：
   | 连接器 ID | 名称 | 描述 |
   |———–|——|——|
   | 1 | jdbc | 关系型数据库连接器 |
   | 2 | hdfs | HDFS 文件系统连接器 |

2. 创建连接器配置
   以 JDBC 连接器为例，创建连接 MySQL 的配置：

   sqoop:000> create link --connector jdbc

   按提示输入连接参数：

   
   （图片来源网络，侵删）

   Link configuration:
   Name: mysql-link
   Description: MySQL connection
   Connection Driver Class: com.mysql.jdbc.Driver
   Connection String: jdbc:mysql://localhost:3306/testdb
   Username: root
   Password: *****

数据导入/导出作业

导入数据（MySQL → HDFS）

创建导入作业,需先定义目标（HDFS）和源（JDBC 链接）：

sqoop:000> create job --job-name mysql-to-hdfs-import

配置作业参数：

Job configuration:
From link: mysql-link (id: 1)
To link: hdfs-link (id: 2)
From job: select * from users where id > 100
To job: /user/hive/warehouse/users
File format: TEXT

执行作业：

sqoop:000> start job --job-name mysql-to-hdfs-import

导出数据（HDFS → MySQL）

创建导出作业,需指定目标表和 HDFS 源路径：

sqoop:000> create job --job-name hdfs-to-mysql-export

配置参数：

From link: hdfs-link (id: 2)
To link: mysql-link (id: 1)
From job: /user/hive/warehouse/orders
To job: orders
Update mode: allowinsert

作业管理

• 查看作业列表

  sqoop:000> show jobs

• 启动/停止作业

  sqoop:000> start job --job-name job-id
  sqoop:000> stop job --job-name job-id

• 删除作业

  sqoop:000> delete job --job-name job-id

高级配置

Sqoop2 支持通过配置文件或命令行参数精细化控制作业行为，

• 并行度：--num-mappers 4 设置 MapTask 数量。
• 增量导入：--incremental append --last-value 1000 基于列值增量导入。
• 数据类型映射：通过 --map-column-java 指定 Java 类型映射。

常见问题与调试

1. 连接失败：检查 JDBC 驱动是否添加到 Sqoop2 Server 的 lib 目录，或网络连通性。
2. 作业卡住：查看 Server 日志（logs/sqoop.log），确认资源（如内存、磁盘空间）是否充足。

相关问答FAQs

Q1: Sqoop2 与 Sqoop1 的主要区别是什么？
A1: Sqoop2 采用客户端-服务器架构，提供 Web UI 和 REST API，支持多租户和权限管理；而 Sqoop1 是命令行工具，直接执行导入导出，配置相对简单但安全性较低，Sqoop2 的连接器更模块化，支持自定义扩展，而 Sqoop1 的配置主要依赖命令行参数。

Q2: 如何解决 Sqoop2 导入数据时中文乱码问题？
A2: 中文乱码通常源于字符集不匹配，可通过以下方式解决：

1. 在 JDBC 连接字符串中指定字符集，如 jdbc:mysql://localhost:3306/testdb?useUnicode=true&characterEncoding=UTF-8。
2. 确保 MySQL 表字段和 HDFS 文件编码一致（如使用 UTF-8）。
3. 若使用 Hive，需创建表时指定 ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE 并设置编码。