摘要:MapReduce原理要知道怎么对MapReduce作业进行调优前提条件是需要对Map-Reduce的过程了然于胸。 Map-Reduce运行原理图: Map Side1.从磁盘读取数据并分片默认每个block对应一个分片,一个map task2.进行map处理运行自定义的map业... 阅读全文
posted @ 2016-03-18 13:54 蒋源德 阅读(329) 评论(0) 推荐(0) 编辑
摘要:数据类型的选择自定义数据类型参考:Hadoop提交作业自定义排序和分组MapWritable/SortedMapWritableHadoop中可传输的Map集合,和Java中的Map用法差不多,但是可以用与mapper和reducer之间的数据传输Map输出不同类型的Value使用... 阅读全文
posted @ 2016-03-18 13:53 蒋源德 阅读(184) 评论(0) 推荐(0) 编辑
摘要:总结一下在生产环境部署Hadoop+Spark+HBase+Hue等产品遇到的问题、提高效率的方法和相关的配置。集群规划假设现在生产环境的信息如下: 服务器数量:6 操作系统:Centos7 Master节点数:2 Zookeeper节点数:3 Slave节点数:4 ... 阅读全文
posted @ 2016-03-18 13:44 蒋源德 阅读(1375) 评论(0) 推荐(1) 编辑