米兰的小铁將

2019年8月20日

64、Spark Streaming：StreamingContext初始化与Receiver启动原理剖析与源码分析

摘要：一、StreamingContext源码分析###入口 org.apache.spark.streaming/StreamingContext.scala/** * 在创建和完成StreamContext的初始化之后，创建了DStreamGraph、JobScheduler等关联组件之后，就会调用StreamContext的socketTextStream等方法， * 来创建输入DStream... 阅读全文

posted @ 2019-08-20 15:31 米兰的小铁將阅读(471) 评论(0) 推荐(0)

63、Spark Streaming：架构原理深度剖析

摘要：一、架构原理深度剖析StreamingContext初始化时，会创建一些内部的关键组件，DStreamGraph，ReceiverTracker，JobGenerator，JobScheduler，DStreamGraph，我们程序中定义很多DStream，中间用很多操作把这些DStream给串起来，这些DStream之间的依赖关系，就是所谓的DStreamGraph，然后调用StreamingC... 阅读全文

posted @ 2019-08-20 14:27 米兰的小铁將阅读(350) 评论(0) 推荐(0)

62、Spark Streaming：容错机制以及事务语义

摘要：一、容错机制1、背景要理解Spark Streaming提供的容错机制，先回忆一下Spark RDD的基础容错语义：1、RDD，Ressilient Distributed Dataset，是不可变的、确定的、可重新计算的、分布式的数据集。每个RDD都会记住确定好的计算操作的血缘关系，(val lines = sc.textFile(hdfs file); val words = lines.f... 阅读全文

posted @ 2019-08-20 13:58 米兰的小铁將阅读(642) 评论(0) 推荐(0)

2019年8月19日

61、Spark Streaming：部署、升级和监控应用程序

摘要：一、部署应用程序1、流程1、有一个集群资源管理器，比如standalone模式下的Spark集群，Yarn模式下的Yarn集群等。2、打包应用程序为一个jar包。3、为executor配置充足的内存，因为Receiver接受到的数据，是要存储在Executor的内存中的，所以Executor必须配置足够的内存来保存接受到的数据。要注意的是，如果你要执行窗口长度为10分钟的窗口操作，那么Execut... 阅读全文

posted @ 2019-08-19 18:00 米兰的小铁將阅读(767) 评论(0) 推荐(0)

60、Spark Streaming：缓存与持久化机制、Checkpoint机制

摘要：一、缓存与持久化机制与RDD类似，Spark Streaming也可以让开发人员手动控制，将数据流中的数据持久化到内存中。对DStream调用persist()方法，就可以让Spark Streaming自动将该数据流中的所有产生的RDD，都持久化到内存中。如果要对一个DStream多次执行操作，那么，对DStream持久化是非常有用的。因为多次操作，可以共享使用内存中的一份缓存数据。对于基于窗口... 阅读全文

posted @ 2019-08-19 17:46 米兰的小铁將阅读(623) 评论(0) 推荐(0)

59、Spark Streaming与Spark SQL结合使用之top3热门商品实时统计案例

摘要：一、top3热门商品实时统计案例1、概述Spark Streaming最强大的地方在于，可以与Spark Core、Spark SQL整合使用，之前已经通过transform、foreachRDD等算子看到，如何将DStream中的RDD使用Spark Core执行批处理操作。现在就来看看，如何将DStream中的RDD与Spark SQL结合起来使用。案例：每隔10秒，统计最近60秒的，每个种类... 阅读全文

posted @ 2019-08-19 17:07 米兰的小铁將阅读(1373) 评论(0) 推荐(0)

58、Spark Streaming: DStream的output操作以及foreachRDD详解

摘要：一、output操作 1、output操作 2、output操作概览二、foreachRDD 1、foreachRDD详解 2、java案例创建mysql表 java代码阅读全文

posted @ 2019-08-19 15:08 米兰的小铁將阅读(949) 评论(0) 推荐(0)

57、Spark Streaming: window滑动窗口以及热点搜索词滑动统计案例

摘要：一、window滑动窗口 1、概述 2、window滑动窗口操作案例：热点搜索词滑动统计，每隔10秒钟，统计最近60秒钟的搜索词的搜索频次，并打印出排名最靠前的3个搜索词以及出现次数 2、java案例 3、scala案例阅读全文

posted @ 2019-08-19 13:24 米兰的小铁將阅读(874) 评论(0) 推荐(0)

2019年8月14日

56、Spark Streaming: transform以及实时黑名单过滤案例实战

摘要：一、transform以及实时黑名单过滤案例实战 1、概述 2、java案例 2、scala案例阅读全文

posted @ 2019-08-14 16:45 米兰的小铁將阅读(784) 评论(0) 推荐(0)

55、Spark Streaming:updateStateByKey以及基于缓存的实时wordcount程序

摘要：一、updateStateByKey 1、概述 2、java案例 3、scala案例阅读全文

posted @ 2019-08-14 11:10 米兰的小铁將阅读(427) 评论(0) 推荐(0)

米兰的小铁將

公告