Protect_Winter's Sketchbook

摘要： 一、PDD创建的两种方式 从文件系统中加载数据 通过并行集合（数组）加载数据 二、从文件系统加载数据 Spark的SparkContext通过textFile（）读取数据生成内存中的RDD textFile（）方法支持的数据类型： （1）Linux系统本地的文件云端文件 注：加载本地文件地址格式：f 阅读全文

摘要： 一：pyspark Apache Spark是用 Scala编程语言 编写的。为了用Spark支持Python，Apache Spark社区发布了一个工具PySpark。使用PySpark，您也可以使用Python编程语言中的 RDD 。正是由于一个名为 Py4j 的库，他们才能实现这一目标。 Py 阅读全文

摘要： 1.学习链接 https://www.bilibili.com/video/BV1yD4y1U73C?p=10 2.简介 Spark集群的高可用机制用于解决master出现单点失败的情况。解决方法：配置两个master主机，当一个挂掉的时候将所有任务提交给另一个主机。 3.配置过程 3.1停止整个集 阅读全文

摘要： 1.Spark简介 2.Spark安装总览 Spark安装配置分为以下6个步骤：下载，上传到虚拟机并解压，配置，配置HistortSerer，分发，启动集群 3.下载 https://spark.apache.org/downloads.html 4.上传解压 将本机下载好的安装包上传到虚拟机，我使 阅读全文

摘要： 这些天继续阅读《实现模式》这本书。 书中讲到了对称性： 也可以说是代码的一致性, 也就是方法的命名最好能做到一致, 符合人类的认知习惯, 比如有个add方法, 最好能提供个remove方法 比如不一致的代码: void process(){ input(); count++; output();} 阅读全文

摘要： 1.简介 Scala 语言可以运行在Window、Linux、Unix、 Mac OS X等系统上。 Scala是基于java之上，大量使用java的类库和变量，使用 Scala 之前必须先安装 Java（>1.5版本）。 2.安装 下载链接：https://www.scala-lang.org/d 阅读全文

摘要： 这是一本关注程序细节并具有浓厚实战意义的书籍, 它主要是来告诉我们如何写出容易让人理解的代码. 如果非要在书名前加一个限定词的话, "java实现模式"可能更贴切一些, 因为里面的代码都是以java作为例子来说明的. 作者是junit的贡献者之一, 因此里面的很多例子都是从junit中来的.这本书也 阅读全文

摘要： 一、局部化影响 文章描述的是尽量让代码小片段话，这样修改的时候，这样造成可尽可能的少。最初编写代码时总是一个方法中解决很多事。后来逐渐发现那样特别不利于再次阅读，以及修改。甚至连变量的命名都显的困难。代码的编写尽量一个方法去做一件事情。这样方便理解。同时出错时能快速定位，以及修改 二、最小化的复用 阅读全文

摘要： 这是一本关注程序细节并具有浓厚实战意义的书籍, 它主要是来告诉我们如何写出容易让人理解的代码. 如果非要在书名前加一个限定词的话, "java实现模式"可能更贴切一些, 因为里面的代码都是以java作为例子来说明的. 作者是junit的贡献者之一, 因此里面的很多例子都是从junit中来的.这本书也 阅读全文

摘要： “别看那些编译原理的书了！这本书教你编写真正实用的解析器、翻译器、解释器等语言应用，⋯⋯” 这个⋯⋯这位是 Python 语言的发明人，著名的龟叔（Guido Van Rossum）。 “我的龙书被打入冷宫了！” 等等，这不科学啊！这位⋯⋯这位是Android Dalvik虚拟机的作者Dan Bor 阅读全文