HDFS文件操作命令有哪些常用？

HDFS（Hadoop Distributed File System）作为Hadoop生态的核心组件，提供了分布式文件存储能力，其文件操作命令是用户与HDFS交互的基础，这些命令通过Hadoop Shell实现，语法形式为hadoop fs <command>或hdfs dfs <command>，涵盖了文件创建、删除、查看、移动、复制等基本操作，以及权限管理、磁盘使用统计等高级功能,以下从常用操作类别展开详细说明。

文件与目录操作

创建目录使用mkdir命令，支持递归创建多级目录，例如hadoop fs -mkdir /user/input会在根目录下创建user/input路径，若需创建嵌套目录需加-p参数（hadoop fs -mkdir -p /data/2023）。删除操作分rm和rmdir，rm可删除文件或非空目录（需加-r或-f强制删除），而rmdir仅删除空目录，例如删除/user/output目录及其内容需执行hadoop fs -rm -r /user/output。文件上传与下载分别通过put和get命令实现，本地文件local.txt上传至HDFS的/data/目录使用hadoop fs -put local.txt /data/，若需显示进度可加-f参数；从HDFS下载文件到本地则用hadoop fs -get /data/remote.txt ./，支持指定本地路径。复制与移动中，cp用于复制文件或目录（如hadoop fs -cp /data/file1.txt /backup/），mv可移动文件或重命名（hadoop fs -mv /data/old.txt /data/new.txt），移动操作在HDFS集群内是原子性的,效率较高。

文件查看与内容处理

查看文件内容有多种方式：cat适合查看小文件（hadoop fs -cat /data/log.txt），head和tail分别查看文件开头和末尾（hadoop fs -head -n 100 /data/bigdata.txt），less支持分页浏览（需终端支持）。文本处理命令如text可将二进制文件转为文本格式（hadoop fs -text /data/compressed.gz），chgrp、chown、chmod分别用于修改所属组、所有者和权限（如hadoop fs -chmod 755 /data/script.sh）。统计信息通过du和df获取，du -s /data显示目录总大小，du -h /data/*按文件显示人类可读格式大小；df -h查看HDFS整体磁盘使用情况。

高级操作与批量处理

查找文件使用find命令，例如hadoop fs -find /data -name "*.txt" -print会递归查找/data下所有.txt文件。文件校验通过checksum计算文件MD5值（hadoop fs -checksum /data/file.txt），确保数据完整性。批量操作可通过循环脚本实现，例如用for循环上传多个本地文件：for f in *.txt; do hadoop fs -put $f /data/; done。distcp命令支持跨集群复制文件（hadoop distcp hdfs://cluster1/data hdfs://cluster2/backup）,适用于大数据迁移。

相关操作命令速查表

相关问答FAQs

Q1: HDFS中如何批量删除多个指定扩展名的文件？
A: 可以结合find和-delete参数实现，例如删除/data目录下所有.tmp文件：hadoop fs -find /data -name "*.tmp" -delete，若需先确认再删除，可先用-print查看文件列表,确认无误后执行删除命令。

Q2: 使用put命令上传大文件时，如何避免因网络问题导致上传中断后重复上传？
A: HDFS的put命令本身不支持断点续传，但可通过以下方式优化：1) 使用-f参数覆盖已存在文件，避免重复上传；2) 将大文件分块后上传（如用split命令分割本地文件，再分别上传）；3) 采用distcp工具进行分布式上传,支持并行处理和容错机制。