HDFS操作
1 格式化Hadoop
启动之前,我们先要格式化namenode,先进入/home/hdfs/hdfsinstall/hadoop目录,执行下面的命令
bin/hadoop namenode -format
如果不成功,就去HADOOP_LOG_DIR目录下去查看日志文件。
2 启动hadoop
在bin/下面有很多启动脚本,可以根据自己的需要来启动。
* start-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack
* stop-all.sh 停止所有的Hadoop
* start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack
* stop-mapred.sh 停止Map/Reduce守护
* start-dfs.sh 启动Hadoop DFS守护.Namenode和Datanode
* stop-dfs.sh 停止DFS守护
在这里,简单启动DFS:bin/start-dfs.sh
3 停止hadoop
bin/stop-dfs.sh
或者
bin/stop-all.sh
4 建立/删除目录
bin/hadoop dfs -mkdir testdir
bin/hadoop dfs -rmr testdir
在HDFS中建立一个名为testdir的目录
5 复制文件
bin/hadoop dfs -put /home/hdfs/hdfsinstall/hadoop/hadoop-0.18.1-tools.jar testdir/ hadoop-0.18.1-tools.jar
把本地文件large.zip拷贝到HDFS的根目录下,文件名为testfile.zip
6 查看现有文件
bin/hadoop dfs -ls
bin/hadoop dfs -ls testdir
7 查看当前文件系统状态
bin/hadoop dfsadmin -report