摘要: 参考文章: http://blog.csdn.net/jewes/article/details/39896301 http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html RDD是什么? RDD是Spark中的抽象数据 阅读全文
posted @ 2017-05-06 19:01 静若清池 阅读(241) 评论(0) 推荐(0) 编辑
摘要: 参考文章:http://www.jianshu.com/p/60344796f8a5 在结合 Spark Streaming 及 Kafka 的实时应用中,我们通常使用以下两个 API 来获取最初的 DStream(这里不关心这两个 API 的重载): 及 这两个 API 除了要传入的参数不同外,接 阅读全文
posted @ 2017-05-06 18:10 静若清池 阅读(3908) 评论(0) 推荐(0) 编辑
摘要: 参考文章:http://tech.meituan.com/kafka-fs-design-theory.html Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于we 阅读全文
posted @ 2017-05-06 16:59 静若清池 阅读(226) 评论(0) 推荐(0) 编辑