随笔分类 -  spark

spark streamingcontext
摘要：一个StreamingContext定义之后，必须做以下几件事情：1、通过创建输入DStream来创建输入数据源。2、通过对DStream定义transformation和output算子操作，来定义实时计算逻辑。3、调用StreamingContext的start()方法，来开始实时处理数据。4、 阅读全文
posted @ 2019-01-19 20:22 风语者未来 阅读(218) 评论(0) 推荐(0)
spark优化整理
摘要： 阅读全文
posted @ 2019-01-09 20:49 风语者未来 阅读(146) 评论(0) 推荐(1)
Spark基本架构
摘要：Spark基本架构图如下： Client：客户端进程，负责提交作业。 Driver：一个Spark作业有一个spark context，一个Spark Context对应一个Driver进程，作业的main函数运行在Driver中。Driver主要负责Spark作业的解析，以及通过DAGSchdul 阅读全文
posted @ 2018-11-18 16:15 风语者未来 阅读(498) 评论(0) 推荐(0)