Hadoop基础

Hdoop基础

1.安装：

​ 安装前记得先装好jdk，并配置好对应的环境变量，hadoop下载地址：https://hadoop.apache.org/releases.html 从这个页面下载对应版本的hadoop，在自己指定的目录下执行如下解压指令：

tar -zxvf hadoop-2.10.1.tar.gz
//解压到目录 /dir
tar -zxvf hadoop-2.10.1.tar.gz /dir

2.修改配置

a.配置hadoop环境变量

vim /etc/profile
添加
# hadoop
export HADOOP_HOME=/opt/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

//刷新 配置
source /etc/profile
//验证是否设置成功
hadoop version

b.配置hadoop伪分布(单节点)

• 配置core-site.xml:

  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost/</value>
  </property>
  

• 配置hdfs-site.xml

  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
  

• 配置mapred-site.xml

  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
  

• 配置yarn-site.xml

  <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>localhost</value>
     </property>
     <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  

  3.配置ssh免密登录

  a.ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  b.追加公钥到~/.ssh/authorized_keys文件中
  	$>  cd ~/.ssh
      $>  cat id_rsa.pub >> authorized_keys  
  c.chmod 644 authorized_keys
  d.ssh localhost //验证
  

  4.格式化hadoop

  hadoop namenode -format
  

  5.启动hadoop

  start-all.sh
  

  • jps验证：查看namenode，datanode，nodemanager

  • 浏览器查看：http://ip:50070

  • 跑hadoop自带的wordcount案例：

    1.新建数据输入路径：hadoop fs -mkdir /input
    2.上传测试数据：hadoop fs -put /test.txt /input
    3.跑案例： hadoop jar /home/hadoop/hadoop-2.10.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar  wordcount /input /output
    4.查看结果hadoop fs -cat /output/part-r-00000
    

​