HDFS安装

.bash_profile  配置

　　export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
　　export PATH=$JAVA_HOME/bin:$PATH

　　export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
　　export PATH=$HADOOP_HOME/bin:$PATH

　　export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.15.1
　　export PATH=$HIVE_HOME/bin:$PATH

 

安装

　　下载 hadoop-2.6.0-cdh5.15.1.tar.gz

　　解压到 ~/app

　　　　bin：Hadoop常见命令

　　　　sbin：启动hadoop脚本

　　　　etc/hadoop：相关配置文件存放目录

　　　　share：常用例子

　　添加HADOOP_HOME/bin 到系统环境变量

　　修改Hadoop配置文件　

 

启动HDFS：

　　第一次启动的时候要格式化文件系统，不要重复执行

　　hdfs namenode -format

　　启动集群 sbin/start-dfs.sh

　　验证 jps

 

 命令行：   

　　hadoop

　　hadoop fs

 

　　hadoop fs -ls /

　　hadoop fs -copyFromLocal  a.txt /

　　hadoop fs -moveFromLocal  a.txt /b.txt

　　hadoop fs -get /b.txt .

　　hadoop fs -mkdir /hdfs-text

　　hadoop fs -cp /a.txt /hdfs-text/

　　hadoop fs -cp /b.txt /hdfs-text/

　　hadoop fs -getmerge  /hdfs-text  ./t.txt

 

etc/hadoop/hadoop-env.sh  　

　　export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91

etc/hadoop/core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop000:8020</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/app/tmp</value>
</property>

etc/hadoop/hdfs-site.xm

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

etc/hadoop/slaves

　　hadoop000