0

RDD的转换操作,分三种:单value,双value交互,(k,v)对

import org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext} object Transformation { def main(args: Array[String]): U ...

梁衍 发布于 2019-12-10 21:34 评论(0)阅读(47)
0

Scala中sortBy和Spark中sortBy区别

Scala中sortBy是以方法的形式存在的,并且是作用在Array或List集合排序上,并且这个sortBy默认只能升序,除非实现隐式转换或调用reverse方法才能实现降序,Spark中sortBy是算子,作用出发RDD中数据进行排序,默认是升序可以通过该算子的第二参数来实现降序排序的方式 ...

梁衍 发布于 2019-12-10 20:07 评论(0)阅读(47)
0

scala中分组的算子的用法

val rdd= sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("tom",2))) //1.根据传入的参数进行分组 val rdd1:RDD[(String, Iterable[(String, Int)])] =rdd.groupB ...

梁衍 发布于 2019-12-10 19:37 评论(0)阅读(30)
0

scala中停止循环的三种方式

1:使用return关键字 object BreakLoop { //1.使用return关键字 def add():Unit= { for(i <- 1 to 10){ if(i==7){ //停止循环 //使用注意: 终止方法并带回一个返回值 // 使用return --> 停止的是方法,所以不 ...

梁衍 发布于 2019-12-10 00:54 评论(0)阅读(44)
0

scala中的Option

Scala中Option是用来表示一个可选类型 什么是可选? --> 主要是指 有值(Some) 和 无值(None)-->Some和None是Option的子类 val myMap:Map[String,String] = Map("key1"->"value1") //获取集合value的值 v ...

梁衍 发布于 2019-12-10 00:47 评论(0)阅读(31)
0

scala中nothing和null的区别

1:nothing是所有类型的子类,他没有具体的实例对象,常见的应用:抛出异常、程序exit、无线循环等。 2:nothing是所有类型的子类,也是null的子类,nothing没有对象,但是可以用来定义类型,如方法抛出异常的返回值类型就是nothing。 3:null是所有引用类型的子类,他只是一 ...

梁衍 发布于 2019-12-10 00:42 评论(0)阅读(22)
0

scala中val和var的区别

1:内容是否可变:val修饰的是不可变的,var修饰是可变的 2:val修饰的变量在编译后类似于java中的中的变量被final修饰 3:lazy修饰符可以修饰变量,但是这个变量必须是val修饰的 ps:lazy相当于延迟加载(懒加载),当前变量使用lazy修饰的时候,只要变量不被调用,就不会进行初 ...

梁衍 发布于 2019-12-10 00:34 评论(0)阅读(20)
0

scala的应用--UDF:用户自定义函数

在window10下安装了hadoop,用ida创建maven项目。 <properties> <spark.version>2.2.0</spark.version> <scala.version>2.11</scala.version> <java.version>1.8</java.versi ...

梁衍 发布于 2019-12-09 21:38 评论(0)阅读(77)
0

scala高级部分--题目1

给你一个集合val list=List(1,2,3,4,"abc"),请完成如下要求 将集合list中所有的数字+1,并返回一个新的集合 要求忽略掉非数字的 object work5 { def main(args: Array[String]): Unit = { val list=List(1, ...

梁衍 发布于 2019-12-09 00:56 评论(0)阅读(23)
0

scala基础题--面向对象1

练习1 编写computer类,包含CPU、内存、硬盘等属性,getDetails方法用于返回computer的详细信息。 编写PC子类,继承computer类,添加特有属性【品牌brand】 编写notepad类,继承computer类,添加特有属性【颜色color】 编写test object, ...

梁衍 发布于 2019-12-07 00:16 评论(0)阅读(26)
0

scala基础题--函数可以没有返回值案例,编写一个函数,从终端输入一个整数,打印出对应的金字塔

函数可以没有返回值案例,编写一个函数,从终端输入一个整数,打印出对应的金字塔 import scala.io.StdIn object work02 { def main(args: Array[String]): Unit = { println("请输入一个数") var num:Int=Std ...

梁衍 发布于 2019-12-06 23:49 评论(0)阅读(38)
0

scala基础题--100以内的数求和,求出当和第一次大于20的当前数【for】

import util.control.Breaks._ object work01 { def main(args: Array[String]): Unit = { //方式一 var sum:Int= 0 breakable{ for (i<-1 to 100){ sum =sum+i if ...

梁衍 发布于 2019-12-06 23:28 评论(0)阅读(57)
0

scala练习题--万年历

使用方法去完成 import scala.io.StdIn object work1 { def main(args: Array[String]): Unit = { // 1.先输出提示语句,并接受用户输入的年,月 println("请输入年:") var year = StdIn.readIn ...

梁衍 发布于 2019-12-06 21:52 评论(0)阅读(37)
0

Java中接口和Sala中的特质的区别?

1.先要区分是Java中哪个版本的接口,因为Java中不同版本接口是不一样2.Java8之前的接口(不包含Java8),这个版本的接口只能属性和抽象方法,和Scala中的特质有完全的不用因为Scala特质除了定义属性和抽象方法之外,还可以定实现方法和抽象属性3.Java8之后的接口(包含Java8) ...

梁衍 发布于 2019-12-06 20:58 评论(0)阅读(19)
0

scala学习笔记

元组 元组是一个轻量级集合,这个集合可以存储任意元素 元组是使用小括号,元素之间使用逗号分隔,元素的类型是任意的 若需要访问元组中的元素 [元组名._数字] 数字是从1开始, 有多少个元素,这个1递增多少次 例如: 有一个元组,元组中有三个元素 访问每一个元素值 --> _1 _2 _3 元组属于轻 ...

梁衍 发布于 2019-12-05 21:18 评论(0)阅读(20)
0

Scala基础语法

if表达式的定义:在Scala中,if表达式是有值的,就是if或者else表达式中最后一行语句的返回值。 object IfDemo { def main(args: Array[String]): Unit = { val age = 28 val isAdult = if (age > 25) ...

wordcounts 发布于 2019-11-20 17:04 评论(0)阅读(26)
0

Spark Core知识点复习-1

Day1111 一.Spark Core 1 Spark任务调度: 2 Spark几个重要的组件 3 Spark Core: RDD的概念和特性 4 生成RDD的两种类型 5 RDD算子的两种类型 6 算子练习 7 分区 8 RDD的依赖关系 9 DAG ...

勇者无畏强者无敌 发布于 2019-11-12 11:11 评论(0)阅读(33)
0

restapi(9)- caching, akka-http 缓存

restapi作为前后端交互的枢纽:面对大批量的前端请求,需要确保回复的及时性。使用缓存是一项有效工具。我们可以把多数前端请求的回复response存入缓存,特别是一些需要大量计算才能获取的回复值,更可以大大提高后端的反应速度。值得庆幸的是akka-http已经提供了对缓存的支持,是基于java8  ...

雪川大虫 发布于 2019-11-11 14:03 评论(1)阅读(245)
0

wordcount实例

scala的wordcount实例 package com.wondersgroup.myscala import scala.actors.{Actor, Future} import scala.collection.mutable.ListBuffer import scala.io.Sour ...

雪夜杀机 发布于 2019-11-09 17:50 评论(0)阅读(30)
0

Scala Types 2

存在类型 形式: 或 主要为了兼容 Java 的通配符 示例 scala Array[_] // 等价于 Array[T] forSome { type T} Map[_, _] // 等价于 Map[T, U] forSome { type T; type U T`| |注解| | |参数类型| ...

afewnotes 发布于 2019-11-01 22:10 评论(0)阅读(27)