杰克再造

摘要： 先说说概念 正向代理服务器就是我们平常说的代理服务器，一般在IE-Internet选项-连接-局域网设置，目的是通过代理服务器可以访问互联网上服务器的资源等 反向代理服务器，是用在服务器的主机前面的，用户接受外部的访问，在用户和真正的主机服务器之间加了一道屏障 目前有许多反向代理软件，比较有名的有  阅读全文

摘要： Shuffle是MR的核心和最重要的地方，也是性能弹性最大的地方 在Spark中，1.1版本之前，框架默认采用的shuffle是hash，1.1之后，默认采用了sort 从下图可以看出在数据量小，mapper和reducer都比较小的时候，二者的性能几乎一样，当数据量大的情况下，sort shuff 阅读全文

摘要： RDD的好处很多，缺点在于不支持增量的迭代计算，比如在task的前半段只做一半数据的处理，后续的task再加上后一半处理，这种需求不支持 还有就是不支持细粒度的更新和写操作 rdd.Partitions() : 需要知道数据分配在哪里，返回一个array，里面是partition对象，该对象指向了数 阅读全文

摘要： Tuple和List一样，是长度不变，内容也不可变的 Tuple的元素个数不能大于22个，否则编译出错 通过下标_n取数据，这是和List，Array的不同点 Tuple 不像List一样有map、flatMap 等方法直接操作元素，只能通过混入的ProductN（n代表1-22的数字） 的prod 阅读全文

摘要： 在spark中，原始的sortByKey是以map为操作对象，按照key进行排序，value跟随 如果我们要设置多维排序，就需要自定义这个key对象 下面以三维度为例： 该class需要 extends Ordered[T] with Serializable , 然后将这个类的对象作为sortBy 阅读全文

摘要： List是长度不可变，内容也不可变的 初始化： val days = List("Sunday", "Monday", "Tuesday", "Wednesday", "Thursday", "Friday", "Saturday",1,2,3,4,5,6,7) // 通过apply创建val so 阅读全文

摘要： 初始化： val a = Array(1,2,3,4,"5","6") // Array 是不可变长的，但是内容是可变化的 val ab = ArrayBuffer(1,2,3,"4") // ArrayBuffer可变长 def abc (array : Array[Any]){} 添加： ab 阅读全文

摘要： 1. 我们发现计算步骤特别耗时，就在之前进行persist 2. 如果我们的计算链条特别长，就在之前进行persist 3. 在checkpoint之前，必须进行persist checkpoint是属于transform操作，也就是说，在最后的action被触发后，计算完成，框架发现在中间有一个c 阅读全文

摘要： Chef 是一个面向开发dev和运维人员ops的自动化管理工具 大白话： chef就是一个针对不同系统的安装脚本代码化的管理工具。 安装脚本这个大家都知道，代码化的意思是把各式各样的脚本语言以统一的ruby语言来封装编写，代码化还有一个好处就是可以用git来管理 架构/工作流程 chef serve 阅读全文

摘要： 非对称性加密有RSA 点对点通信场景 如果用公开密钥对数据进行加密，只有用对应的私有密钥才能解密；如果用私有密钥对数据进行加密，那么只有用对应的公开密钥才能解密。因为加密和解密使用的是两个不同的密钥，所以这种算法叫作非对称加密算法。 在传输过程中，即使攻击者截获了传输的密文，并得到了乙的公钥，也无法 阅读全文