摘要: 本文通过4台Linux虚拟机,详细介绍搭建4个节点的完全分布式Hadoop集群的方法,Linux系统版本是CentOS 7,Hadoop版本是3.2.0,JDK版本是1.8。 一、准备环境 1. 在VMware workstations上创建4个Linux虚拟机,并配置其静态IP。 有关【创建Lin 阅读全文
posted @ 2019-03-07 08:32 shireenlee 阅读(6173) 评论(1) 推荐(1) 编辑
摘要: 本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法,Linux系统版本是CentOS 7,Hadoop版本是2.7.7,JDK版本是1.8。 一、准备环境 1. 在VMware workstations上创建4个Linux虚拟机,并配置其静态IP。 有关【创建Linux虚拟机及配置网络】,请 阅读全文
posted @ 2019-02-13 17:21 shireenlee 阅读(928) 评论(0) 推荐(0) 编辑
摘要: 1. 使用start-hbase.sh启动HBase时报Class path contains multiple SLF4J bindings.错误,原因是jar包冲突导致的。所以,对于和Hadoop的jar包冲突的,可以将其他jar包删除,如果你不确定是否删除正确,可以将其他的jar包复制备份或者 阅读全文
posted @ 2019-04-19 09:05 shireenlee 阅读(1183) 评论(0) 推荐(0) 编辑
摘要: HBase是列式数据库,既可以单机也可以集群的方式搭建,以集群的方式搭建一般建立在HDFS之上。 分布式HBase启动说明:首先启动hadoop,然后问题就来了:zookeeper和hbase的启动顺序是什么? 1,先启动hbase:hbase有内置的zookeeper,如果没有装zookeeper 阅读全文
posted @ 2019-04-19 09:04 shireenlee 阅读(3368) 评论(1) 推荐(1) 编辑
摘要: 在本文中,Zookeeper节点个数(奇数)为3个。Zookeeper默认对外提供服务的端口号2181。Zookeeper集群内部3个节点之间通信默认使用2888:3888。 1. Hadoop集群环境 2. 下载Zookeeper安装包 下载地址:http://mirrors.shu.edu.cn 阅读全文
posted @ 2019-04-18 16:37 shireenlee 阅读(405) 评论(0) 推荐(0) 编辑
摘要: Zookeeper官网地址:http://zookeeper.apache.org/ Zookeeper下载链接:http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 阅读全文
posted @ 2019-04-18 11:14 shireenlee 阅读(2028) 评论(0) 推荐(0) 编辑
摘要: 一、问题出现的原因 启动Hadoop分布式环境时出现主节点的namenode、secondarynamenode启动成功,但是Worker节点datenode启动不成功。 hadoop@master$ ${HADOOP_HOME}/sbin/start.dfs.sh 查看Worker的输出日志,显示 阅读全文
posted @ 2019-04-16 14:54 shireenlee 阅读(1094) 评论(0) 推荐(0) 编辑
摘要: 运行hadoop程序时,有时候会报以下错误,说明Hadoop的NameNode处在安全模式下。 原因分析: 在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个Da 阅读全文
posted @ 2019-04-15 14:20 shireenlee 阅读(386) 评论(0) 推荐(0) 编辑
摘要: 本文详细介绍Linux系统下配置Java环境的方法,使用JDK1.8版本。 1. 从Oracle官网上下载Java8版本。 下载链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htm 阅读全文
posted @ 2019-02-13 11:41 shireenlee 阅读(2024) 评论(0) 推荐(0) 编辑
摘要: Hadoop集群包含1个主节点和3个从节点,需要实现各节点之间的免密码登录,下面介绍具体的实现方法。 一、Hadoop集群环境 二、免密登录原理 每台主机authorized_keys文件里面包含的主机(ssh密钥),该主机都能无密码登录,所以只要每台主机的authorized_keys文件里面都放 阅读全文
posted @ 2019-02-13 10:34 shireenlee 阅读(20797) 评论(0) 推荐(2) 编辑