Hadoop jar命令参数如何正确使用？

Hadoop的jar命令是执行Hadoop作业的核心工具,主要用于提交和运行打包在JAR文件中的MapReduce、Spark或其他大数据计算框架的程序，该命令通过Hadoop的YARN（Yet Another Resource Negotiator）或MapReduce框架将任务分发到集群节点执行，并支持丰富的参数配置以控制作业的行为，以下从命令结构、核心参数、常见用法及注意事项等方面进行详细说明。

命令基本结构

Hadoop jar命令的基本语法为：

hadoop jar [jar文件路径] [主类名] [程序参数] [Hadoop参数]

[jar文件路径]是包含用户代码的JAR文件，[主类名]是JAR中包含main方法的类全名，[程序参数]是用户代码所需的参数（如输入输出路径），[Hadoop参数]则是Hadoop框架提供的配置选项。

核心参数详解

Hadoop jar命令的参数可分为两类：用户程序参数和Hadoop框架参数，后者通过-D选项或前缀指定，用于控制资源分配、日志级别、任务重试等行为，以下是常用参数及其作用：

资源与调度参数

任务执行与调试参数

输入输出参数

其他高级参数

常见用法示例

1. 基本MapReduce作业提交

   
   （图片来源网络，侵删）

   hadoop jar wordcount.jar WordCount /input /output

   其中WordCount是主类名，/input和/output分别为输入输出路径。

2. 指定队列和内存

   hadoop jar myjob.jar -D mapreduce.job.queuename=production \
   -D mapreduce.map.memory.mb=3072 MyJob /data/input /data/output

3. 携带依赖文件

   hadoop jar streaming.jar -mapper mapper.py -reducer reducer.py \
   -input /input -output /output -files mapper.py,reducer.py

注意事项

1. JAR文件要求：主类必须包含public static void main(String[] args)方法，且JAR需包含所有依赖或通过-libjars指定。
2. 输出路径冲突：输出路径必须不存在，否则作业会失败。
3. 参数优先级：命令行参数会覆盖core-site.xml等配置文件中的默认值。
4. 日志查看：可通过YARN的Web UI（默认地址http://<ResourceManager>:8088）查看任务日志和状态。

相关问答FAQs

Q1: 如何调试Hadoop作业失败问题？
A1: 可通过以下步骤排查：

1. 检查YARN Web UI中的任务失败日志，点击“Failed”任务查看stderr。
2. 使用-D mapreduce.task.debugout指定调试输出路径，捕获任务中间结果。
3. 确保输入路径存在且权限正确,输出路径为空。
4. 本地测试代码逻辑,使用hadoop jar --help验证参数格式。

Q2: 如何优化Hadoop作业的性能？
A2: 优化方向包括：

1. 资源分配：根据数据量和集群负载调整mapreduce.map/reduce.memory.mb和mapreduce.map/reduce.tasks。
2. 数据倾斜处理：对Reduce任务启用-D mapreduce.job.reduce.speculative=true，或自定义分区器。
3. I/O优化：使用压缩（如-D mapreduce.map.output.compress=true）减少数据传输量。
4. 缓存管理：对小文件使用-archives或-files分发，避免重复读取HDFS。