摘要: 1. Flume介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 agent agent本身是一个Java 阅读全文
posted @ 2018-03-21 23:12 mantou叔叔 阅读(3483) 评论(0) 推荐(0) 编辑
摘要: 1. Kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这 阅读全文
posted @ 2018-03-21 23:10 mantou叔叔 阅读(231) 评论(0) 推荐(0) 编辑