摘要： Akka实现WordCount(Scala): 架构图： 项目结构： pom.xml 消息： Actors： MasterActor MapActor： ReduceActor： AggregateActor： 主程序： 运行结果： (for,1)(name,1)(count,1)(is,2)(am 阅读全文

摘要： Zab协议（Zookeeper Atomic Broadcast）： 广播模式： Leader将所有更新（称为proposal),顺序发送给Follower 当Leader收到半数以上的Follower对此proposal的ACK时，即向所有Follower发送commit消息，并在本地commit 阅读全文

摘要： RoundRobinPartitioner/HashPartitioner: Roud robin运行结果： Topic = ScalaTopic, partition = 0, key = 1, value = test 1ccTopic = ScalaTopic, partition = 0, 阅读全文

摘要： Streaming Window: 上图意思：每隔2秒统计前3秒的数据 slideDuration: 2 windowDuration: 3 例子: 运行结果： 阅读全文

摘要： 多继承问题： 运行结果： 原因：fileName还未初始化，就被方法调用。 解决方法： 1. 提前定义 （代码不够优雅） 2. 懒加载（推荐） 阅读全文

摘要： Trait多继承顺序： 准则： 运行结果： 阅读全文

摘要： Scala 数组和List: 阅读全文

摘要： 占位符在REPL和Eclipse/IDEA中初始化变量问题： 占位符初始化，如果是局部变量，都会报错！只能在全局变量中使用！ REPL: Eclipse: IDEA: 如果是类的属性，却就是对的。 阅读全文

摘要： 优雅地关闭Spark Streaming： 当touch stop文件后，程序仍然会再执行一次，执行完成后退出。 阅读全文

摘要： 共享变量: 共享变量通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量会向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。尽管如此，Spark提 阅读全文