伪分布式大数据Linux安装和环境部署

安装黑窗口 -- 

利用secureCRT不能上传是需要在Lunix系统安装  运行   yum install lrzsz

-----JDK 安装

上传完成后tar -zxvf java...tar.gz 

配置环境变量  1.vi /etc/profile

　　　　　　  2.export JAVA_HOME=/usr/local/src/java/jdk1.7.0_80

　　　　　　　export PATH=$PATH:$JAVA_HOME/bin

　　　　　　3.免密登录

　　　　　　

 

 

配置Hadoop环境变量 

　　1.安装目录下创建文件夹（也可不创建，在配置文件中配置由系统生成）

　　　　　　/usr/local/hadoop/hdfs/name

　　　　　　/usr/local/hadoop/hdfs/data

　　　　　　/usr/local/hadoop/tmp

　　2.~/.bash_profile设置环境变量

　　　　　　vi ~/.bash_profile

　　　　　　HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.4

　　　　　　PATH=$PATH:$HADOOP_HOME/bin

　　　　　　export HADOP_HOME PATH

　　　　source ~/.bash_profile

　　3.修改hadoop安装包下的配置文件

　　　　目录：/usr/local/hadoop/hadoop-2.6.4/etc/hadoop

 

　　　　A--修改  hadoop-env.sh

　　　　　　export JAVA_HOME=/usr/local/src/java/jdk1.7.0_80

　　　　B--修改  yarn-env.sh

　　　　　　export JAVA_HOME=/usr/local/src/java/jdk1.7.0_80

　　　　C--修改  core-site.xml　

 1 <configuration>
 2     <property>
 3         <name>fs.defaultFS</name>
 4         <value>hdfs://Master:9000</value>
 5     </property>
 6     <property>
 7         <name>hadop.tmp.dir</name>
 8         <value>/usr/local/hadoop/tmp</value>
 9     </property>      
10 </configuration>

 

　　　　D--hdfs-site.xml

　　　　

 1 <configuration>
 2      <property>
 3         <name>dfs.namenode.name.dir</name>
 4         <value>file:/usr/local/hadoop/hdfs/name</value>
 5      </property>
 6     <property>
 7         <name>dfs.datanode.data.dir</name>
 8         <value>file:/usr/local/hadoop/hdfs/data</value>
 9      </property>
10     <property>
11         <name>dfs.replication</name>
12         <value>1</value>
13      </property>
14 </configuration>
hdfs-site.xml

 

 

　　　　E-- mapred-site.xml.template

　　　　　　复制一份mapred-site.xml.template 修改名称为mapred-site.xml

　　　　　　配置

　　　　　　

　　　　　　 
1 <configuration>
2     <name>mapreduce.framwork.name</name>
3     <value>yarn</value>     
4 </configuration>
mapred-site.xml

 

　　　　F--yarn-site.xml

　　　　

1 <configuration>
2     <property>
3         <name>yarn.nodemanager.aux-services</name>
4         <value>mapreduce_shuffle</value>
5     </property>      
6 </configuration>
yarn-site.xml

 

格式化hadoop的bin目录

　　cd /usr/local/hadoop/hadoop-2.6.4/bin

　　./hdfs namenode -format

启动hadoop

　　cd sbin

　　./start-all.sh

查看是否启动完成

　　jps

 

客户端访问8080(hadoop)/50070(hdfs)

　　查看linux防火墙状态　　　　firewall-cmd --state

　　关闭linux防火墙　　　　　　systemctl stop firewalld.service

　　　

　　　　　　

　　　　　　

posted @ 2018-09-30 16:38  DumboJ  阅读(333)  评论(0)    收藏  举报