摘要： 上节中简单的介绍了 Spark 的一些概念还有Spark生态圈的一些情况，这里主要是介绍Spark运行模式与Spark Standalone模式的部署； Spark运行模式 在 Spark 中存在着多种运行模式，可使用本地模式运行、可使用伪分布式模式运行、使用分布式模式也存在多种模式如：S... 阅读全文

摘要： 何为Scala物 Scala 为基于JVM虚拟机中的面向对象与 函数式编程 思想并且完全兼容Java的混合编程语言，可以是Scala与Java是同根同源的，既然Scala与JAVA都是基于JVM之上的编程语言那么Scala的特色又在哪呢 Scala最大的特色就是他是支持函数式编程的，函数式... 阅读全文

摘要： 背景 目前按照大数据处理类型来分大致可以分为：批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样； 关注大数据处理的应该都知道Hadoop，而Hadoop的核心为 HDFS 与 MapReduce ，HDFS分布式文件系统在Hadop中是用来存储数... 阅读全文

摘要： 最近想写个App，又觉得Native App 太无趣了Web App又没那么成熟然后发现了Facebook在9月发布的React Native比较新奇，所以决定捣鼓看看； React Native为Facebook开源的使用Javascript与React开发Android、IOS原生跨平台A... 阅读全文

摘要： Fiddler基本原理 Fiddler数据包的原理是Fiddler将自己设置为一个代理服务器，默认监听127.0.0.1：8888端口同时将浏览器的HTTP、HTTPS协议设置为使用代理服务器也就是使用自己作为浏览器的代理服务器； 1\.Fiddler原理图 打... 阅读全文

摘要： 熟悉Java或如C 等使用共享内存模型作为并发实现的人都比较清楚，编写线程安全的代码很关键的一点就是要控制好 可变状态 ，对于Java开发者来说可能用 内存可见性 更容易理解，在各种关于并发的书籍中都是处理好内存可见性问题编写线程安全的代码就成功了一半了，但我认为“内存可见性”太过于抽象、底层，使开... 阅读全文

摘要： 有用过Zookeeper的都知道zoo.cfg配置文件中有dataDir配置项用于存储数据，不过可能有些人不太清楚这个目录具体存储的是那些数据，默认情况下这个目录是用于存储Log（事务日志）与Snapshot（快照）数据，但是Zookeeper还提供了一个用于Log存储目录的配置项dataLogDi... 阅读全文

摘要： ZooKeeper为高可用的一致性协调框架，自然的ZooKeeper也有着一致性算法的实现，ZooKeeper使用的是ZAB协议作为数据一致性的算法， ZAB（ZooKeeper Atomic Broadcast ） 全称为：原子消息广播协议；ZAB可以说是在Paxos算法基础上进行了扩展改造而来的... 阅读全文

摘要： 背景 熟悉或了解分布性系统的开发者都字段一致性算法的重要性，Paxos一致性算法从90年提出到现在已经有二十几年了，而Paxos流程太过于繁杂实现起来也比较复杂，可能也是以为过于复杂现在我听说过比较出名使用到Paxos的也就只是Chubby、libpaxos，搜了下发现Keyspace、Ber... 阅读全文

摘要： 分布式系统除了能提升整个系统的性能外还有一个重要的特性就是提高系统的可靠性，可靠性指的是当分布式系统中一台或N台机器宕掉后都不会导致系统不可用，分布式系统是state machine replication的，每个节点都可能是其他节点的快照，这是保证分布式系统高可靠性的关键， 而存在多个复制节点就... 阅读全文