Hadoop压缩命令有哪些？如何选择？

在Hadoop生态系统中，压缩是优化存储空间和提升数据处理效率的重要手段，通过压缩技术，可以显著减少HDFS上的数据占用，同时降低网络传输开销，从而加速MapReduce、Spark等计算框架的任务执行，Hadoop支持多种压缩算法，如Gzip、Bzip2、LZO、Snappy等，每种算法在压缩率、压缩速度和解压速度上各有侧重，用户可根据实际场景选择合适的压缩方式,以下将详细介绍Hadoop中的常用压缩命令及其使用方法。

（图片来源网络，侵删）

常用压缩命令与工具

Hadoop提供了命令行工具（如hadoop jar）和API接口支持数据压缩，对于文件级别的压缩，可通过Linux系统工具或Hadoop内置命令实现，使用Gzip压缩文件时，可通过gzip -r input_dir命令递归压缩目录，解压则用gunzip -d file.gz，若需在Hadoop分布式文件系统（HDFS）上直接压缩文件，可执行hadoop fs -put local_file.txt hdfs_path/file.txt.gz，但此时需确保文件已通过Gzip工具压缩，对于MapReduce任务的中间结果压缩，可通过配置mapreduce.map.output.compress和mapreduce.map.output.compress.codec参数启用，例如设置压缩编解码器为org.apache.hadoop.io.compress.SnappyCodec以提升压缩速度。

压缩格式选择与性能对比

不同压缩格式的适用场景差异较大,以下是常见压缩格式的性能对比：

压缩格式	压缩率	压缩速度	解压速度	适用场景
Gzip	高	中	中	归档存储，最终输出
Bzip2	很高	慢	慢	对压缩率要求极高场景
LZO	中	快	很快	中间数据压缩，实时处理
Snappy	低	很快	很快	内存缓存，实时交互

在MapReduce任务中，若中间数据需频繁读写，推荐使用Snappy或LZO，以减少I/O等待时间；而对于长期存储的最终结果,Gzip或Bzip2能更节省磁盘空间。

压缩命令实操示例

本地文件压缩：
压缩：hadoop fs -put -p local_file.txt hdfs_path/file.txt.gz
（需确保本地文件已通过gzip命令压缩为.gz格式）
解压：hadoop fs -cat hdfs_path/file.txt.gz | gunzip > local_file.txt
（图片来源网络，侵删）

MapReduce任务启用压缩：
在mapred-site.xml中配置：

<property>
    <name>mapreduce.map.output.compress</name>
    <value>true</value>
</property>
<property>
    <name>mapreduce.map.output.compress.codec</name>
    <value>org.apache.hadoop.io.compress.LzoCodec</value>
</property>

Hive表压缩：
创建表时指定压缩格式：

CREATE TABLE compressed_table (id INT, name STRING)
STORED AS ORCFILE
TBLPROPERTIES ("orc.compress"="SNAPPY");

相关问答FAQs

Q1: 如何在Hadoop中动态选择压缩格式？
A1: 可通过Java API动态设置压缩编解码器，在MapReduce的Job配置中，通过job.getConfiguration().setClass("mapreduce.map.output.compress.codec", SnappyCodec.class, CompressionCodec.class)实时指定压缩格式,或根据文件扩展名匹配对应的Codec实现。

Q2: 压缩后文件为何无法直接用文本编辑器打开？
A2: 压缩文件（如.gz、.lzo）是二进制格式，需通过专用工具解压才能查看内容，使用hadoop fs -cat file.gz | zcat或gunzip命令解压后，方可查看原始文本数据，若需直接处理压缩文件，可通过Hadoop提供的CompressionInputStream类读取压缩流,避免全量解压。