随笔分类 - Hadoop
摘要:Flume与Kafka Flume 是一个分布式,可靠的,可用的服务,有效的收集,聚合和移动海量的日志数据。它有一个简单而灵活的架构,基于流数据流。具有很好的冗余和容错性,以及可靠性和多故障转移和恢复机制。它使用一个简单的可扩展数据模型,并允许在线分析应用。简单的认为Flume是一个收集日志数据的服
阅读全文
摘要:http://www.cnblogs.com/smartloli/p/5640587.html
阅读全文
posted @ 2016-07-15 16:35
木石头
摘要:最近在做Hadoop上应用开发,需要和HA集成,active name node 切换不能影响应用的运行。在研究HA背景的同时,发现HA和Federation 配置中共用了nameservices 的概念,于是有了下面的整理。一、为什么要HA 和 Federation1. 单点故障在Hadoop 2...
阅读全文
摘要:MapReduce中TextInputFormat分片和读取分片数据源码级分析
阅读全文

浙公网安备 33010602011771号