随笔分类 -  Hadoop安装

Hadoop集群搭建(十一)~Sqoop安装
摘要：1，把安装包导进来并解压 2，conf目录下的 sqoop-env-template.sh 改成 sqoop-env.sh [root@master conf]# mv sqoop-env-template.sh sqoop-env.sh 3，在sqoop-env.sh文件中添加配置信息 expor 阅读全文
posted @ 2020-01-11 09:12 济默 阅读(748) 评论(0) 推荐(0)
Hadoop集群搭建(十)~Hbase安装
摘要：同样把Hbase安装包上传到/opt/software目录中，并解压到/opt/module中。我安装版本是1.3.1 1，配置hbase-env.sh文件 export JAVA_HOME=/opt/module/jdk1.8.0_211 export HBASE_MANAGES_ZK=false 阅读全文
posted @ 2020-01-09 15:14 济默 阅读(367) 评论(0) 推荐(0)
Hadoop集群搭建(九)~Zookeeper安装
摘要：本篇记录Zookeeper集群安装，版本为3.4.10 1，解压Zookeeper安装包到/opt/module/目录下 [root@master software]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 2，同步/opt/module 阅读全文
posted @ 2020-01-09 12:25 济默 阅读(546) 评论(0) 推荐(0)
Hadoop集群搭建(八)~Hive安装
摘要：本篇记录了Hive的安装，由于Metastore默认存储在自带的derby数据库中，derby数据库只能开一个一个客户端，无法满足集群的业务需求，推荐使用MySQL存储Metastore;这里Hive版本为1.2.1 （一）Hive安装 1，将Hive安装包，上传到software目录下，同样解压到 阅读全文
posted @ 2020-01-08 20:47 济默 阅读(1175) 评论(0) 推荐(0)
Hadoop集群搭建(七)~完全分布运行模式
摘要：我使用的是完全分布运行模式。上一篇安装了JDK，本篇记录Hadoop的安装，版本2.7.2 （一）配置文件 1，先将hadoop安装包解压到module目录下 2，配置hadoop-env.sh。vi /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh 阅读全文
posted @ 2020-01-06 17:27 济默 阅读(591) 评论(0) 推荐(0)
Hadoop集群搭建(六)~安装JDK
摘要：前面集群的准备工作都做完了，本篇记录安装JDK，版本位1.8 1，在opt目录下创建software和module文件夹；software用来放安装包，module为安装目录 2，把JDK和hadoop安装包，导入software。这里我利用xshell的文件传输功能 3，把JDK解压到module 阅读全文
posted @ 2020-01-06 15:30 济默 阅读(662) 评论(0) 推荐(0)
Hadoop集群搭建(五)~搭建集群
摘要：继上篇关闭防火墙之后，因为后面我们会管理一个集群，在VMware中不断切换不同节点，为了管理方便我选择xshell这个连接工具，大家也可以选择SecureCRT等工具。 本篇记录一下3台机器集群的搭建。 （一）克隆虚拟机 1，VMware界面，我的计算机master，右键，管理，克隆 2，下一步，选 阅读全文
posted @ 2020-01-06 15:00 济默 阅读(490) 评论(0) 推荐(0)
Hadoop集群搭建(四)~centos6.8关闭防火墙
摘要：一、centos关闭防火墙 1，关闭防火墙。service iptables stop 2，关闭防火墙开机自启。chkconfig iptables off 3，查看防火墙状态。service iptables status 二、Windows关闭防火墙 网络--右键 属性--关闭防火墙 现在一台基 阅读全文
posted @ 2020-01-05 13:38 济默 阅读(763) 评论(0) 推荐(0)
Hadoop集群搭建(三)~centos6.8网络配置
摘要：安装完centos之后，进入系统，进行网络配置。主要分为五个部分： 修改虚拟机网络编辑器；配置Winodws访问虚拟机；配置centos网卡；通过网络名访问虚拟机配置网络服务。 （一）虚拟机网络编辑器 1，Vmware菜单栏，编辑，选择虚拟机网络编辑器 2，进入虚拟机网络编辑器，选择右下角更改设置 阅读全文
posted @ 2020-01-05 12:15 济默 阅读(359) 评论(0) 推荐(0)
Hadoop集群搭建(二)~centos6.8的安装
摘要：这篇记录在创建好的虚拟机中安装centos6.8 1，在虚拟机界面-选择编辑虚拟机设置 2，CD/DVD，选择使用ISO映像文件，找到安装包的位置，确定 3，回到虚拟机的界面，开启此虚拟机 4，安装 5，跳过检测Tab，skip 6，进入安装界面，next 7，语言选择，简体中文 8，键盘，美国英语 阅读全文
posted @ 2020-01-02 10:31 济默 阅读(239) 评论(0) 推荐(0)
Hadoop集群搭建(一)~虚拟机的创建
摘要：Hadoop集群的搭建包括，虚拟机系统的安装；安装JDK，Hadoop；克隆虚拟机；伪分布式的搭建；安装zookeeper；Hive；Hbae；Spark等等； 我将分为多篇文章来记录。这篇文章主要写虚拟机的创建，软件版本：VMware 15.5.0 1，打开VMware，左上角文件菜单栏-选择创建 阅读全文
posted @ 2019-12-25 09:14 济默 阅读(491) 评论(0) 推荐(0)