摘要：一、解压hadoop src包到workspace目录。为加快下载jar包的速度，在eclipse的maven设置里将配置文件的路径设置正确，然后配置maven的settings.xml： <mirrors> <mirror> <id>nexus-maven</id> <mirrorOf>*</mi 阅读全文

摘要：今天下午刚刚搭建了一个高可用hadoop集群，整理如下，希望大家能够喜欢。 namenode HA：得有两个节点，构成一个namenode HA集群 namenode Federation：可以有多个HA集群，分管不同的数据 至少得有4个节点，才能满足要求 节点 NN JournalNode DN 阅读全文

摘要：已经自学了好几个月的大数据了，第一个月里自己通过看书、看视频、网上查资料也把hadoop（1.x、2.x）、spark单机、伪分布式、集群都部署了一遍，但经历短暂的兴奋后，还是觉得不得门而入。 只有深入大数据开发才能逐步掌握大数据。而首先要搭开发环境，对于一个像我这样之前只做过plsql开发的人来说 阅读全文