l_time

摘要： 一：JobSheduler的源码解析 1. JobScheduler是Spark Streaming整个调度的核心，相当于Spark Core上的DAGScheduler. 2. Spark Streaming为啥要设置两条线程？ setMaster指定的两条线程是指程序运行的时候至少需要两条线程。 阅读全文

摘要： 一：Spark Streaming Job生成深度思考 1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的感觉，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，以前做批处理的时候其实也是隐形的在做流 阅读全文

摘要： Spark Streaming的Job到底是如何运行的，我们下面以一个例子来解析一下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 3 阅读全文

摘要： 事务： 银行转帐为例，A用户转账给B用户，B用户可能收到多笔钱，如何保证事务的一致性，也就是说事务输出，能够输出且只会输出一次，即A只转一次，B只收一次。 从事务视角解密SparkStreaming架构： SparkStreaming应用程序启动，会分配资源，除非整个集群硬件资源奔溃，一般情况下都不 阅读全文

摘要： 从作业和容错的角度来理解spark streaming 1 Spark Streaming Job 架构和运行机制 2 Spark Streaming Job 容错架构和运行机制 理解Spark Streaming的Job的整个架构和运行机制对于精通Spark Streaming是至关重要的。 一  阅读全文

摘要： 上节课我们采用了降维的方式查看了整个spark streaming的大概运行的过程，再次强调，spark streaming 其实是构建在spark core之上的一个应用程序，如果要构建一个强大的spark应用程序 ，spark streaming 是一个值得借鉴的参考，spark streami 阅读全文

摘要： 本期内容： SparkStreaming在线另类实验 瞬间理解SparkStreaming的本质 SparkStreaming 是Spark Core上的一个子框架，如果我们能够完全精通了一个子框架，我们就能够更好的驾驭Spark。SparkStreaming和Spark SQL是目前最流行的框架， 阅读全文

摘要： 大数据是用scala语言，和java有些不同又比java强大，省去了很多繁琐的东西，scala中的的接口用trait来定义，不同于java的接口，trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法，这在java中是从来没有的。大数据未来几年发展的重点方向，大数据战略已经... 阅读全文

摘要： 学习通过案例解析Akka中的Actor的定义和创建，用ActorSystem指定名称，应用_system实例actorOf方法创建Actor，应用Props指定Actor类型，创建过中直接启动Actor案例如下：val _system=ActorSystem("HelloAkka")val mast... 阅读全文

摘要： 学习过案例解析Akka中的Actor运行机制以及Actor的生命周期，构建可伸缩的可扩展的分布式应用架构，是异步非阻塞的事件驱动。案例如下：object MapReduceApplication{ val _system=ActorSystem("HelloAkka") val master=_sy... 阅读全文