摘要：
Spark 的核心是建立在统一的抽象弹性分布式数据集（Resiliennt Distributed Datasets，RDD）之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。本节将对 RDD 的基本概念及与 RDD 相关的概念做基本介绍。 先回顾一下R 阅读全文
posted @ 2020-02-12 18:36
Xiaohu_BigData
阅读(540)
评论(0)
推荐(0)
摘要：
Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 Spark特点Spark具有如下几个主要特点： 运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引 阅读全文
posted @ 2020-02-11 13:03
Xiaohu_BigData
阅读(463)
评论(0)
推荐(0)
摘要：
package com.wyh.day01 object ScalaMap { def main(args: Array[String]): Unit = { /** * 不可变Map * */ //创建不可变集合，两种写法 var map1 = Map((1604093026, "王友虎"), 1 阅读全文
posted @ 2020-01-20 13:37
Xiaohu_BigData
阅读(434)
评论(0)
推荐(0)
摘要：
package com.wyh.day01 /** * Set集合 * 唯一，无序 * * Set中大部分方法与List一致，但是不可以进行排序 */ object ScalaSet { def main(args: Array[String]): Unit = { var set1 = Set(1 阅读全文
posted @ 2020-01-20 13:08
Xiaohu_BigData
阅读(461)
评论(0)
推荐(0)
摘要：
package com.wyh.day01 import scala.collection.mutable.ListBuffer /** * List 有序不唯一，元素可重复 */ object ScalaList2 { case class stu(name: String, age: Int) 阅读全文
posted @ 2020-01-20 13:05
Xiaohu_BigData
阅读(954)
评论(0)
推荐(0)
摘要：
package com.wyh.day01 /** * 1、代码格式化的快捷键 ctrl+alt+L\ * 2、scala查看源代码的快捷键 ctrl+b */ object ScalaLookSource { def main(args: Array[String]): Unit = { var 阅读全文
posted @ 2020-01-20 13:01
Xiaohu_BigData
阅读(485)
评论(0)
推荐(0)
摘要：
package com.wyh.day01 object ScalaLanguage { def main(args: Array[String]): Unit = { /** * 定义变量和常量 * * 定义变量是 var * 定义常量是 val * * 区别： * 1、被var修饰的变量是可以重 阅读全文
posted @ 2020-01-20 12:59
Xiaohu_BigData
阅读(153)
评论(0)
推荐(0)
摘要：
package com.wyh.day01 object ScalaFun4 { def main(args: Array[String]): Unit = { /** * 以函数作为返回值 */ def A(s: String): String => String = { def B(s1: St 阅读全文
posted @ 2020-01-20 12:57
Xiaohu_BigData
阅读(563)
评论(0)
推荐(0)
摘要：
package com.wyh.day01 /** * * 高阶函数 */ object ScalaFun3 { def main(args: Array[String]): Unit = { //定义一个array数组 var arr = Array(1, 2, 3, 4, 6, 3, 4, 5, 阅读全文
posted @ 2020-01-20 12:55
Xiaohu_BigData
阅读(152)
评论(0)
推荐(0)
摘要：
package com.wyh.day01 /** * 面向函数编程 */ object ScalaFun2 { def main(args: Array[String]): Unit = { val result = A(f) println(result) val result2 = A(f1) 阅读全文
posted @ 2020-01-20 12:54
Xiaohu_BigData
阅读(226)
评论(0)
推荐(0)
浙公网安备 33010602011771号