随笔分类 -  Hadoop

摘要:Flume与Kafka Flume 是一个分布式,可靠的,可用的服务,有效的收集,聚合和移动海量的日志数据。它有一个简单而灵活的架构,基于流数据流。具有很好的冗余和容错性,以及可靠性和多故障转移和恢复机制。它使用一个简单的可扩展数据模型,并允许在线分析应用。简单的认为Flume是一个收集日志数据的服 阅读全文
posted @ 2016-07-29 11:39 木石头 阅读(234) 评论(0) 推荐(0)
摘要:http://www.cnblogs.com/smartloli/p/5640587.html 阅读全文
posted @ 2016-07-15 16:35 木石头
摘要:最近在做Hadoop上应用开发,需要和HA集成,active name node 切换不能影响应用的运行。在研究HA背景的同时,发现HA和Federation 配置中共用了nameservices 的概念,于是有了下面的整理。一、为什么要HA 和 Federation1. 单点故障在Hadoop 2... 阅读全文
posted @ 2015-12-24 15:24 木石头 阅读(892) 评论(0) 推荐(0)
摘要:MapReduce中TextInputFormat分片和读取分片数据源码级分析 阅读全文
posted @ 2015-12-22 10:21 木石头 阅读(350) 评论(0) 推荐(0)