04 2017 档案
摘要：安装spark包 修改spark-env.sh文件 修改slaves文件 spark1 spark2 spark3 安装spark集群 在另外两个节点进行一模一样的配置，使用scp将spark和.bashrc拷贝到spark2和spark3即可。 启动spark集群
阅读全文
posted @ 2017-04-17 00:29
java一生
摘要：安装scala 2.11.4 安装Kafka包 搭建kafka集群 1、按照上述步骤在spark2和spark3分别安装kafka。用scp把kafka拷贝到spark2和spark3行即可。 2、唯一区别的，就是server.properties中的broker.id，要设置为1和2 启动kafk
阅读全文
posted @ 2017-04-17 00:26
java一生
摘要：安装ZooKeeper包 配置zoo.cfg 设置zk节点标识 搭建zk集群 1、在另外两个节点上按照上述步骤配置ZooKeeper，使用scp将zk和.bashrc拷贝到spark2和spark3上即可。 2、唯一的区别是spark2和spark3的标识号分别设置为1和2。 启动ZooKeeper
阅读全文
posted @ 2017-04-17 00:23
java一生
摘要：安装hive包 1、将apache-hive-0.13.1-bin.tar.gz使用WinSCP上传到spark1的/usr/local目录下。 2、解压缩hive安装包：tar -zxvf apache-hive-0.13.1-bin.tar.gz。 3、重命名hive目录：mv apache-h
阅读全文
posted @ 2017-04-17 00:20
java一生
摘要：安装mysql (1)执行命令rpm -qa |grep mysql检查是否存在mysql相关数据，如果有则删除linux上已经安装的mysql相关库信息：rpm -e （如果有依赖删除报错，怎可以执行 rpm -e xxxxxxx --nodeps） 执行命令rpm -qa |grep mysql
阅读全文
摘要：安装hadoop包 1、使用课程提供的hadoop-2.4.1.tar.gz，使用WinSCP上传到CentOS的/usr/local目录下。 2、将hadoop包进行解压缩：tar -zxvf hadoop-2.4.1.tar.gz 3、对hadoop目录进行重命名：mv hadoop-2.4.1
阅读全文
摘要：CentOS 6.5安装 1、使用课程提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。 2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark1，选择操作系统为Linux，选择版本为Red Hat，分配10
阅读全文
posted @ 2017-04-16 17:44
java一生
摘要：Scala的Actor类似于Java中的多线程编程。但是不同的是，Scala的Actor提供的模型与多线程有所不同。Scala的Actor尽可能地避免锁和共享状态，从而避免多线程并发时出现资源争用的情况，进而提升多线程编程的性能。此外，Scala Actor的这种模型还可以避免死锁等一系列传统多线程
阅读全文
摘要：Scala提供的隐式转换和隐式参数功能，是非常有特色的功能。是Java等编程语言所没有的功能。它可以允许你手动指定，将某种类型的对象转换成其他类型的对象。通过这些功能，可以实现非常强大，而且特殊的功能。 Scala的隐式转换，其实最核心的就是定义隐式转换函数，即implicit conversion
阅读全文
摘要：类型参数是什么？ 类型参数其实就类似于Java中的泛型。先说说Java中的泛型是什么，比如我们有List a = new ArrayList()，接着a.add(1)，没问题，a.add("2")，然后我们a.get(1) == 2，对不对？肯定不对了，a.get(1)获取的其实是个String——
阅读全文
摘要：模式匹配 在模式匹配中使用if守卫 在模式匹配中进行变量赋值 对类型进行模式匹配 对Array和List进行模式匹配 case class与模式匹配 Option与模式匹配
阅读全文
摘要：Scala的集合体系结构 List LinkedList Set 集合的函数式编程 函数式编程综合案例：统计多个文本内的单词总数
阅读全文
摘要：将函数赋值给变量 匿名函数 高阶函数 高阶函数的类型推断 Scala的常用高阶函数 闭包 SAM转换 Currying函数 return
阅读全文
摘要：将trait作为接口使用 在Trait中定义具体方法 在Trait中定义具体字段 在Trait中定义抽象字段 为实例混入trait trait调用链 在trait中覆盖抽象方法 混合使用trait的具体方法和抽象方法 trait的构造机制 trait field的初始化 trait继承class
阅读全文
摘要：extends override和super override field isInstanceOf和asInstanceOf getClass和classOf 使用模式匹配进行类型判断 protected 调用父类的constructor 匿名内部类 抽象类 抽象field
阅读全文
摘要：object 伴生对象 让object继承抽象类 apply方法 main方法 main方法 用object来实现枚举功能
阅读全文
摘要：定义一个简单的类 getter与setter 自定义getter与setter 仅暴露field的getter方法 private[this]的使用 Java风格的getter和setter方法 辅助constructor 主constructor 内部类
阅读全文
摘要：创建Map 访问Map的元素 修改Map的元素 遍历Map SortedMap和LinkedHashMap Map的元素类型—Tuple
阅读全文
摘要：使用yield和函数式编程转换数组 算法案例：移除第一个负数之后的所有负数 算法案例：移除第一个负数之后的所有负数（改良版）
阅读全文
posted @ 2017-04-14 00:38
java一生
摘要：Array 在Scala中，Array代表的含义与Java中类似，也是长度不可改变的数组。此外，由于Scala与Java都是运行在JVM中，双方可以互相调用，因此Scala数组的底层实际上是Java数组。例如字符串数组在底层就是Java的String[]，整数数组在底层就是Java的Int[]。 A
阅读全文
posted @ 2017-04-14 00:36
java一生
摘要：过程 在Scala中，定义函数时，如果函数体直接包裹在了花括号里面，而没有使用=连接，则函数的返回值类型就是Unit。这样的函数就被称之为过程。过程通常用于不需要返回值的函数。 过程还有一种写法，就是将函数的返回值类型定义为Unit。 lazy值 在Scala中，提供了lazy值的特性，也就是说，如
阅读全文
摘要：变长参数 在Scala中，有时我们需要将函数定义为参数个数可变的形式，则此时可以使用变长参数定义函数。 使用序列调用变长参数 在如果想要将一个已有的序列直接调用变长参数函数，是不对的。比如val s = sum(1 to 5)。此时需要使用Scala特殊的语法将参数定义为序列，让Scala解释器能够
阅读全文
摘要：默认参数 在Scala中，有时我们调用某些函数时，不希望给出参数的具体值，而希望使用参数自身默认的值，此时就定义在定义函数时使用默认参数。 如果给出的参数不够，则会从作往右依次应用参数。 Java与Scala实现默认参数的区别 带名参数 在调用函数时，也可以不按照函数定义的参数顺序来传递参数，而是使
阅读全文
posted @ 2017-04-14 00:25
java一生
摘要：函数的定义与调用 在Scala中定义函数时，需要定义函数的函数名、参数、函数体。 我们的第一个函数如下所示： Scala要求必须给出所有参数的类型，但是不一定给出函数返回值的类型，只要右侧的函数体中不包含递归的语句，Scala就可以自己根据右侧的表达式推断出返回类型。 在代码块中定义包含多行语句的函
阅读全文
posted @ 2017-04-14 00:21
java一生
摘要：Scala与Java的关系 Scala与Java的关系是非常紧密的！！ 因为Scala是基于Java虚拟机，也就是JVM的一门编程语言。所有Scala的代码，都需要经过编译为字节码，然后交由Java虚拟机来运行。 所以Scala和Java是可以无缝互操作的。Scala可以任意调用Java的代码。所以
阅读全文
posted @ 2017-04-14 00:07
java一生
摘要：Spark是什么？ Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Stre
阅读全文
posted @ 2017-04-12 21:56
java一生
浙公网安备 33010602011771号