chouc

摘要： DEMO KafkaUtils 如果创建DirectKafkaInputDStream 时如果没有传 perPartitionConfig 则就会使用 PerPartitionConfig PerPartitionConfig 最关键的就是包含了 spark.streaming.kafka.maxR 阅读全文

摘要： Dstream Checkpoint 的用法 以上代码可以实现故障恢复和重启时回到之前的offset，但是如果对代码进行修改则无法进行回滚。 Spark源码： 1. 从checkpoint_dir 中读取 Checkpoint 对象，new StreamingContext ，反之读取不到 调用我们 阅读全文

摘要： Demo Spark 源码分析 StreamingContext 整个Dstream 类似RDD "懒加载" ，出发点就是 streamingContext.start()。 为了方便查看，我去掉了一些其他代码，只保留关键逻辑代码 JobScheduler 点开 scheduler.start() 阅读全文