摘要: 解决问题 1)容错 2)延时 3)监控 概述 官网:http://flume.apache.org Flume是由Cloudera提供的一个分布式、高可靠、高可用的服务,用于分布式的海量日志的高收集、聚合、移动系统。 Agent:source,channel,sink 设计目标: 可靠性 扩展性 管 阅读全文
posted @ 2018-10-16 22:50 Rain520 阅读(679) 评论(0) 推荐(0) 编辑
摘要: 离线计算和实时计算对比 1)数据来源 离线:HDFS历史数据 数据量比较大 实时:消息队列(Kafka),实时新增/修改记录过来的某一笔数据 2)处理过程 离线:MapReduce: map+reduce 实时:Spark(DStream/SS) 3)处理速度 离线:慢 实时:快速 4)进程 离线: 阅读全文
posted @ 2018-10-16 13:40 Rain520 阅读(229) 评论(0) 推荐(0) 编辑