摘要：hbase.rootdir hdfs://server110/hbase hbase.cluster.distributed true hbase.zookeeper.quorum spark01:2181 拷贝hdfs下的core-site.xml和hdfs-site.xml到h... 阅读全文

摘要：Hive搭建学习笔记 一、学习Hive之前,先了解一下什么是Hive; Hive是Hadoop一个程序接口，Hive让数据分析人员快速上手，Hive使用了类SQL的语法，Hive让JAVA的世界变得简单而轻巧，Hive让Hadoop普及到了程序员以外的人。 二、安装Hive 1.安装前需要保证有my 阅读全文

摘要：1.安装MySQL server 首先下载好mysql的rpm安装包 使用rpm命令安装： rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm #rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm --force 阅读全文

摘要：javax.jdo.option.ConnectionURL jdbc:mysql://server110:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root... 阅读全文

摘要：javax.jdo.option.ConnectionURL jdbc:mysql://server110:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root... 阅读全文

摘要：在日常维护hadoop集群的过程中发现这样一种情况： 某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡， HDFS马上自动开始数据块的容错拷贝； 当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏， 所以造成了HDFS上某些block的备份数超过了设定的备份数。 通过观察发现，这些多余的数据块经过很长的一段时间才会被... 阅读全文

摘要：datanode进程死亡或者网络故障造成datanode无法与namenode通信， namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heart... 阅读全文

摘要：脑裂：本来一个大脑的两半球互相配合，变成了分裂成两个独立的大脑，都认为对方已死。在集群环境中，有这么几种可能造成"Split-Brain"现象： 1、在集群环境中的节点间的心跳线同时断掉后，集群系统所处于的一种特殊状态。例如节点1和2组成一个集群，突然1和2间的心跳同时都断了，如果此前节点1正在运行 阅读全文