HDFS基础1

一、HDFS入门

二、HDFS基本操作

1、shell命令行客户端

Hadoop提供了文件系统的shell命令行客户端，使用方法如下：

Hadoop fs <args>（参数哪一个文件系统和什么样的操作）

文件系统shell包括与Hadoop分布式文件系统（HDFS）以及Hadoop支持的其他文件系统（如本地FS,  HFTP FS, S3 FS等）直接交互的各种类似shell的命令。所有FS shell命令都将路径URI作为参数

URI格式为scheme://suthority/path。

对于HDFS来说：scheme是hdfs；

对于本地FS来说：scheme是file

scheme和authority是可选的，如果未指定，则使用配置中指定的默认方案

对于HDFS，命令示例如下：

Hadoop fs -ls hdfs://namenode:host/parent/child

Hadoop fs -ls /parent/child    fs.defaultFS中有配置

对于本地文件系统命令示例如下

Hadoop fs -ls file:///root

如果使用的文件系统是HDFS，则使用hdfs dfs也是可以的，此时

Hadoop fs <args> = hdfs dfs <args>

 

三、shell常用命令

1、-ls

功能：

显示文件、目录信息

使用：

hadoop  fs  -ls  [-h]（human给大小加上了单位）  <args>

示例：

hadoop  fs  -ls  /hello

hadoop  fs  -ls  -h  /hello

2、-mkdir

功能：

在hdfs上创建目录，-p表示会创建路径中的各级父目录。

使用：

hadoop fs -mkdir [-p] <paths>

示例：

hadoop fs -mkdir -p /hello/hello1/hello2

3、-put

功能：

将单个文件或多个文件从本地文件系统复制（上传）到目标文件系统

使用：

hadoop  fs  -put  [-f]  [-p] 本地文件目录 目标文件目录

-p：表示保留访问和修改时间，所有权和权限

-f：覆盖目的地（如果已经存在）

示例：

hadoop  fs  -put  /root/install.log.syslog  /

4、-get

功能：

将文件复制（下载）到本地文件系统

使用：

hadoop  fs  -get  [ignorecrc]  [-crc]  [-p]  [-f]  文件系统目录 本地文件保 存目录

-ignorecrc：跳过对下载文件的CRC检查

-crc：为下载的文件写CRC效验和

示例：

hadoop  fs -get  /install.log.syslog  ./(当前目录)

5、-appendToFile

功能：

追加一个文件到已经存在的文件末尾

使用：

hadoop  fs  -appendToFile  本地文件目录 目标文件目录

示例：

hadoop  fs  -appendToFile 2.txt  /1.txt

 

6、-cat

功能：

显示文件内容

使用：

hadoop  fs  -cat 文件目录

示例：

hadoop  fs  -cat  /1.txt

7、-tail

功能：

查看文件的最后一千字内容

使用：

hadoop fs -tail [-f] 目录

示例：

hadoop fs -tail /hadoop/hadoopfile

 

8、-getmerge

功能：

合并下在多个文件

示例：

比如hdfs目录 /aaa下多个文件：log.1, log.12, log.3

Hadoop fs -getmerge  /aaa/log.*  ./log.sum

9、-setrep

功能：改变一个文件的副本系数。-R 选项用于递归改变目录下所有文件的副本系数

示例：hadoop fs -setrep -w 3（副本个数） [-R(一个文件不用写)]  /user/hadoop/dir1