Hadoop伪分布式环境搭建

Hadoop伪分布式搭建学习笔记
一、    学习Hadoop之前;
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。

从其定义就可以发现，它解決了两大问题：大数据存储、大数据分析。也就是 Hadoop 的两大核心：HDFS 和 MapReduce。

HDFS(Hadoop Distributed File System)是可扩展、容错、高性能的分布式文件系统，异步复制，一次写入多次读取，主要负责存储。

MapReduce 为分布式计算框架，包含map(映射)和 reduce(归约)过程，负责在 HDFS 上进行计算。

二、环境搭建
修改主机名：
hostname node01  临时有效

修改
vim /etc/sysconfig/network
添加配置
HOSTNAME=node01   永久有效

配置hosts主机映射
vim /etc/hosts
添加配置
127.0.0.1 node01
配置ssh免密钥登陆
ssh-keygen -t rsa
 
把生成的公钥添加到authorized_key下即可完成免密登陆
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
配置多态服务器免密登陆：
ssh-copy-id -i  ~/.ssh/id_rsa.pub root@node01
解压hadoop安装包
修改etc文件夹下的配置：
1.    vim core-site.xml
<configuration>
<!-- 指定hdfs的nameservice-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>


</configuration>
修改vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

修改vim mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

</configuration> 
修改vim yarn-site.xml 

<property><name>yarn.application.classpath</name><value>(使用sqoop时会用到)复制的Hadoop classpath信息</value></property>

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME</value> </property> 添加vim hadoop-env.sh的java_home配置 配置完成后格式化hdfs ./hdfs namenode –format 修改sbin文件夹下的用户信息 vim start-yarn.sh vim stop-yarn.sh 分别加上： YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=root YARN_NODEMANAGER_USER=root vim start-dfs.sh vim stop-dfs.sh 分别加上： HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=root HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 启动./start-all.sh 通过jps命令查看hadoop进程


hbase配置：
vim hbase-site.xml

<property>
<name>hbase.rootdir</name>
<value>hdfs://node02:9000/hbase</value>
</property>-->
<!--<property>
<name> hbase.rootdir </name>
<value>file:///home/hbase</value>
</property>-->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hb_zk</value>
</property>

<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>

vim hbase-env.sh 修改JAVA_HOME即可