2017年3月29日
spark streaming (二)
摘要： 一、基础核心概念 1、StreamingContext详解 （一） 有两种创建StreamingContext的方式： val conf = new SparkConf().setAppName(appName).setMaster(master); val ssc = new StreamingC 阅读全文
posted @ 2017-03-29 21:24 凌-风 阅读(1955) 评论(0) 推荐(0)
spark streaming (一)
摘要： 实时计算介绍 Spark Streaming， 其实就是一种Spark提供的， 对于大数据， 进行实时计算的一种框架。 它的底层， 其实， 也是基于我们之前讲解的Spark Core的。 基本的计算模型， 还是基于内存的大数据实时计算模型。 而且， 它的底层的组件或者叫做概念， 其实还是最核心的RD 阅读全文
posted @ 2017-03-29 20:23 凌-风 阅读(608) 评论(0) 推荐(0)