大数据之hdfs 命令行工具 hdfs dfs 常用命令 速查手册

HDFS 命令行工具常用命令速查手册

Hadoop Distributed File System（HDFS）是Hadoop生态系统中的一个核心组件，它为大规模数据存储提供了分布式文件系统服务。HDFS使用命令行工具（hdfs dfs）来管理文件系统中的文件和目录。本文将围绕HDFS命令行工具，提供一份详细的常用命令速查手册，帮助用户快速掌握HDFS的基本操作。

目录

1. HDFS概述

2. HDFS命令行工具简介

3. 常用命令速查

4. 高级命令与技巧

5. 总结

1. HDFS概述

HDFS是一个高吞吐量的分布式文件系统，适合存储大文件，如大数据集。它设计用于运行在廉价的硬件上，提供高吞吐量的数据访问，适合一次写入多次读取的场景。HDFS由一个NameNode和多个DataNode组成，NameNode负责管理文件系统的命名空间和客户端对文件的访问，而DataNode负责存储实际的数据块。

2. HDFS命令行工具简介

HDFS命令行工具（hdfs dfs）是HDFS提供的命令行接口，用户可以通过它执行文件系统的各种操作。以下是一些基本的命令行操作：

- `hdfs dfs -ls`：列出文件系统中的文件和目录。

- `hdfs dfs -put`：将本地文件上传到HDFS。

- `hdfs dfs -get`：从HDFS下载文件到本地。

- `hdfs dfs -rm`：删除文件或目录。

3. 常用命令速查

文件系统操作

- `hdfs dfs -ls`：列出文件系统中的文件和目录。

shell
  hdfs dfs -ls /path/to/directory

  

- `hdfs dfs -put localfile hdfsfile`：将本地文件上传到HDFS。

shell
  hdfs dfs -put /path/to/localfile /path/to/hdfsfile

  

- `hdfs dfs -get hdfsfile localfile`：从HDFS下载文件到本地。

shell
  hdfs dfs -get /path/to/hdfsfile /path/to/localfile

  

- `hdfs dfs -rm hdfsfile`：删除HDFS中的文件。

shell
  hdfs dfs -rm /path/to/hdfsfile

  

- `hdfs dfs -rm -r hdfsdir`：递归删除HDFS中的目录。

shell
  hdfs dfs -rm -r /path/to/hdfsdir

  

- `hdfs dfs -mkdir hdfsdir`：在HDFS中创建目录。

shell
  hdfs dfs -mkdir /path/to/hdfsdir

  

- `hdfs dfs -mv hdfsfile newhdfsfile`：移动HDFS中的文件。

shell
  hdfs dfs -mv /path/to/hdfsfile /path/to/newhdfsfile

  

- `hdfs dfs -cp hdfsfile newhdfsfile`：复制HDFS中的文件。

shell
  hdfs dfs -cp /path/to/hdfsfile /path/to/newhdfsfile

  

权限管理

- `hdfs dfs -chmod permission hdfsfile`：设置HDFS文件的权限。

shell
  hdfs dfs -chmod 755 /path/to/hdfsfile

  

- `hdfs dfs -chown username:hadoopgroup hdfsfile`：更改HDFS文件的所属用户和组。

shell
  hdfs dfs -chown username:hadoopgroup /path/to/hdfsfile

  

查看文件内容

- `hdfs dfs -cat hdfsfile`：查看HDFS文件的内容。

shell
  hdfs dfs -cat /path/to/hdfsfile

  

其他命令

- `hdfs dfs -df -h`：查看HDFS的磁盘使用情况。

shell
  hdfs dfs -df -h

  

- `hdfs dfs -count -h`：统计HDFS中文件和目录的数量。

shell
  hdfs dfs -count -h

  

- `hdfs dfs -du -s`：查看HDFS中目录的总大小。

shell
  hdfs dfs -du -s /path/to/directory

  

4. 高级命令与技巧

- 使用通配符：`hdfs dfs -ls /path/to/` 可以列出指定目录下的所有文件和目录。

- 使用管道：可以将一个命令的输出作为另一个命令的输入，例如 `hdfs dfs -cat /path/to/hdfsfile | grep pattern`。

- 使用脚本：可以将多个命令组合成一个shell脚本，以便自动化HDFS操作。

5. 总结

HDFS命令行工具提供了丰富的命令来管理分布式文件系统。通过掌握这些常用命令，用户可以高效地操作HDFS中的文件和目录。本文提供的速查手册可以帮助用户快速查找和记忆这些命令，提高工作效率。在实际操作中，建议用户结合HDFS的官方文档和在线资源进行深入学习。