简单常用命令

 hdfs中创建多级目录

hadoop fs -mikdir -p /多层级目录

 

取前面与后面的行数

head(tail) -100 /sogou500w /home/xdl/tmp.txt

表示把sogou500w里面前(后)100行数据存放到tmp.txt

 

查看文件的行数

wc -l /sogou500w  

表示查看一共有多少行。

 

删库

drop database 库名;

在hive中要删除一个带表的库

drop database (if exists) 库名 cascade;

 

删表

drop table 表名;

 

查看表结构

show create table 表名;

show formatted 表名;

describe 表名;

 

hive中的清屏

Ctrl+L或!clear;

查看HDFS上的文件

dfs -ls 目录

dfs -lsr 目录  以递归的方式查看hdfs上的文件

 

执行操作系统的命令

 ! 命令

 

表重名名命令

alter table 原表名 rename to 新表名;

增加列

alter table 表名 add columns(

字段 类型 [comment ‘描述’],

字段2 类型);

 

安全模式

hadoop dfsadmin -safemode leave

hadoop dfsadmin -safemode enter

hadoop dfsadmin -safemode get

hadoop dfsadmin -safemode wait  //一直到安全模式结束

 

shell脚本

在windows下写的shell脚本上传到linux后，不能直接执行，因为.sh文件的格式为dos格式，需要更改为unix格式

步骤：在Linux下编辑该脚本，使用:set ff可以查看格式

可以看到的格式为： fileformat=dos

修改操作:

:set ff=unix 然后保存。

 

远程拷贝

scp [-r] 需要拷贝的文件的目录 远程目标的用户@IP:目标路径

 

 

压缩与解压缩文件

1、gzip与gunzip

压缩：如：gzip hello.txt

将hello.txt压缩到当前文件，为hello.txt.gz文件，压缩后不保留源文件。

解压缩：如：gunzip hello.txt.gz

 

2、zip与unzip指令

压缩：如：zip (-r) 压缩后的名 压缩文件名 zip -r job.zip file

将file文件夹下所有文件压缩成job.zip

解压缩到当前目录：如：unzip job.zip  

解压缩指定目录：如：unzip -d 目标目录/home下 job.zip

unzip -d /home/ job.zip

 

3、tar指令

-c   产生.tar打包文件

-v   显示详细信息

-f   指定压缩后的文件

-z   打包用时进行压缩

-x   解包.tar文件

压缩：如：将当前目录下a1.txt 和 a2.txt压缩成 a.tar.gz文件

tar  -zcvf  a.tar.gz  a1.txt  a2.txt

如：将/home文件夹压缩成myhome.tar.gz

tar  -zcvf  myhome.tar.gz  /home/

解压缩到当前目录： tar  -zxvf  myhome.tar.gz

解压缩到指定目录/opt/temp下

tar  -zxvf  a.tar.gz  /opt/temp/

mv指令

表示移动文件与目录或者重命名

mv  oldName  newName  (重命名)

mv  /home/myfile  /opt/tmp  (移动文件)

从旧路径移动到新路径

find指令

-name<查询方式>  //按照指定的文件名查找文件

-user<用户名>  //查找属于指定用户名的所有文件

-size<文件大小>  //按照指定的文件大小查找文件

 

例：按文件名查找/home目录下的hello.txt文件

find  /home/  -name  hello.txt

/home-----表示范围

例：查找根目录下所有以.txt结尾的文件

find  /  -name  *.txt

 

例：按用户名查找/opt目录下，用户名为root的文件

find  /opt  -user  root

 

例：查找整个根目录下大于20M的文件

(+n表示大于，-n小于，n等于)

find  /  -size  +20M

 

> 和 >>

> 为输出重定向，将指定文件内容放入另外一个文件中；若文件不存在，则会创建，若文件存在，则会覆盖之前的内容写入。

如：将/home目录下的文件写入到/home/info.txt中

/home/  >  /home/info.txt

 

>>追加，将文件内容追加到另一个文件的末尾。

如：将当前日历信息追加到/home/mycal文件末尾

cal  >>  /home/mycal

 

查看hadoop集群的健康状态

Hdfs dfsadmin –report