kwdeep

摘要： 1.hadoop有三个主要的核心组件：HDFS（分布式文件存储）、MAPREDUCE（分布式的计算）、YARN（资源调度），现在云计算包括大数据和虚拟化进行支撑。 在HADOOP（hdfs、MAPREDUCE、yarn）大数据处理技术框架，擅长离线数据分析. Zookeeper 分布式协调服务基础组 阅读全文

摘要： 1.数组分为定长和变长，默认情况下是定长的，如果想要使用变长的需要导入包。 2.定长数组和变长数组 object ArrayDemo { def main(args: Array[String]) { //初始化一个长度为10整型的定长数组，其所有元素均为0 val arr1 = new Array 阅读全文

摘要： 1.条件表达式 2.块表达式 块表达式中一般最后一个参数就是表达式的返回值。 3.循环语句 for循环 1 to 10 ,to是一个方法，是将1到10数据产生 for的格式1： for（i <- res1）object ForDemo { 练习：将一个1到9的数据中的偶数取出来。 练习：filter 阅读全文

摘要： hadoop基本环境的配置，我是使用虚拟机，然后创建一个集群，模拟真正环境的集群，实现它的存储，计算和数据分析，一般使用电脑安装虚拟机的时候我们装他们的极简形式，因为图形界面很占内存，并且电脑有时候回会很卡。 1.准备Linux环境 （1）将虚拟机的网络模式选为NAT，其他的网络模式，我在以后在写。 阅读全文

摘要： 1.scala的变量分为可变变量和不可变变量 不可变变量： 可变变量的定义方法 不可变变量相当于java中的final关键字修饰的数据，可变变量相当于java中的变量，对于scala语言而言，更希望使用的val的数据。 2.数据类型的位置，变量在前数据类型在后 数据在定义的时候，需要给他们赋值，负责 阅读全文

摘要： 1.使用场景：建造一个复杂的产品。 2.建造者模式的本质：分离了对象子组件 单独构造，从而造出复杂的对象。由于实现了构建和装配的的解耦。不同建造者，相同的装配，也可以做出不同的对象。 3.使用案例解释： 案例概述：我们建造汽车，汽车有桌椅、轮胎和方向盘组成，我们将他们组装成汽车。 （1）首先从车入手 阅读全文

摘要： 1.spark的算子分为转换算子和Action算子，Action算子将形成一个job，转换算子RDD转换成另一个RDD,或者将文件系统的数据转换成一个RDD 2.Spark的算子介绍地址：http://spark.apache.org/docs/2.3.0/rdd-programming-guide 阅读全文

摘要： 1、抽象工厂模式：依赖生产产品族的全部产品，他可以支持产品族的增加。 2.抽象工厂是工厂模式的升级版，有许多的业务品种的时候，业务分类，通过抽象工厂模式产生需要的对象是一种好的解决方案。 3.代码实现及其分析 ·我们以生产汽车为例，进行分析，首先我们需要创建汽车，要创建发动机，座椅等，然后将其组装成 阅读全文

摘要： 简单工厂有一个缺点：违背了开闭原则，可以使用工厂方法模式来解决，但是类的数目是明显的增加了。 1.工厂方法模式：使用工厂限定方法，每一种需要创建对象都需要创建一个工厂，并且需要实现此工厂方法，在工厂中创建出对象。 2.代码实现： 案例说明，需要创建两种车的市里，我们首先创建车的类，具体车的类实现车这 阅读全文

摘要： 接口代码： 实现类1： 实现类2： 客户端代码 5.使用简答工厂方法 方式1: 注意：上面if("hongqi".equals(name))是为了防止未传入参数，而抛出异常。 客户端代码 实现方式二： 一般使用静态的方式，目的是为了使用类名调用方法。 阅读全文