Hadoop学习(8)-scala环境配置及简单使用
学习scala的原因主要是因为以后要学习spark。
scala是运行在java虚拟机上的，它是一种面向对象和函数式编程结合的语言，并兼容java程序
相对于java更简单
安装scala前提你要保证你已经安装好了jdk
然后
下载这个msi版本的，下载完直接下一步下一步傻瓜安装
然后下载个IDEA
第一次新的IDEA没法创建scala
然后创建一个scala程序
然后选择你的sdk位置和jdk版本
然后finsh
在src下创建一个scala class文件
在这里可以为你的工程添加依赖外部包啥的
ok开始一些简单地学习
scala和java一样，有9种数值类型Byte，Char，Short，Int，Long，Float，Double，Boolean，
还有一个Unit类型，它表示无值和void差不多
在java，object是所有类的祖先，在scala中是Any，上面说的几种类型都是Anyval，其他的都是AnyRef
object firstObject {
def main(args: Array[String]): Unit = {
var name = "wangpeibing"
var age = 18.0//编译器会根据你的值默认的指定你的数据类型
var name1: String = "zhangsan"//你也可以指定这个数据类型
val name2: String = "lisi" //val也可以创建，但val修饰的东西他不能再改变，类似于java中的final
val s = ()//此时s为unit类型的
println("name = "+name, "age=" + age)
println("name = "+name + "age=" + age)//加，在外面输出的时候会带上括号，不加就不带
printf("name %s age %f",name,age)//类似于c语言中动态的取值
println()
println(f"$name $age")//f插值器允许创建一个格式化的字符串
println(s"1 + 1 = ${1+1}")//使用$可以去表达式的值
val s1 = if(age > 20) 20 else if(age > 10) 10 else 0//条件表达式
val s2 = if(age > 10){//条件表达式会把最后一行当做返回值 虽然没有return，但默认的带上了，自己就不要再加return 了
age
age * 10
} else {
0
100
}
println(s2)
var s3 = if(age > 10)"xxxx" else 20//此时s3是一个Any类型的，因为XXXX是String，是AnyRef，Int是AnyVal类型，他们都是Any类型的
print(s3)
} }
定义函数和for循环
package cn.edu360.day3
object learning {
def sayhello = print("hello")
def sayhello2() = println("hello2")
//def 方法名(属性名：属性类型.....):方法返回值(也可以不写，系统自动生成) = {具体的方法}
def sum(a:Int,b:Int):Int = {
return a+b //最后一行自带return，所以这个也可以不加return
}
def main(args: Array[String]): Unit = {
val arr = Array(1,2,3,4,5)
sayhello
sayhello2()
println("a + b:" + sum(1,2))
for(ele <- 0 to 4){
println(arr(ele))
}
for(ele <- arr){ //一个for循环类似java的增强for循环
println(ele)
}
//scala里面的to方法，1 to 10 其实是1.to(10)，是从1到10
// 1 until 10是1到9
for(e <- arr if e % 2 == 0){//增加一个条件
println(e)
}
for(i <- 1 to 3; j <- 1 to 5 if(i == j)){//双重for循环
println(i)
}
var test = for(e <- arr if e % 2 == 0) yield e //此时会将结果放到一个新的集合中去，然后返回给test
//scala的运算符都是一个方法1+2为 1.+(2)
//讲方法转化成函数
val fun = sum _
//定义一个方法
var fun1 = (a:Int, b:Int, c:Int) => a+b+c
println(fun1(1,2,3))
//另一种麻烦的写法
//var 函数名：(参数类型...)=>函数返回值=(对前面参数类型的引用) =>(具体方法)
var fun2:(Int, Int, Int) => Int =(x,y,z) =>(x+y+z)
println(fun2(1,2,3))
}
}
函数作为参数传到方法里面
package cn.edu360.day3
object learning2 {
//函数作为参数传入方法，只写出参数类型和返回类型
//方法其实就像是java里面的接口，思想就是这个，只不过实现起来更加方便
def add2(f:(Int, Int)=> Int, a: Int, b: Int)={
f(a,b)
}
def add3(f:Int=>Int, t:Int):Int={
f(t) + t
}
def main(args: Array[String]): Unit = {
var f:(Int, Int)=>Int=(x,y)=>(x+y)
var test = add2(f,1,2)
var test2 = add2((x,y)=>(x+y),3,4)//使用匿名函数
println(test)
println(test2)
var f1:(Int)=>Int = (a: Int) => a*10//两种定义函数
var f2 = (a:Int) => a*10
val test3 = add3(f1, 2)
println(test3)
}
}
可变参数，java里面的可变参数
public class JavaDemo { public static void m1(String name, String ...arg) { } public static void main(String[] args) { m1("xx", "x", "b", "c"); } }
package test object learn1 { def add(ints: Int*):Int={//在参数类型后面加一个*就可以了，但只能放到最后 var sum = 0; for(v <- ints){ sum += v } sum } def make(test: Any*):Unit={//如果不知道要穿什么类型的参数，可以写成Any* } def main(args: Array[String]): Unit = { println(add(1,2,3,4,5)) println(add(1,2,3)) } }
方法定义的时候可以定义默认值
object learn1 { def add(a: Int = 1,b : Int = 2)={ a+b } def main(args: Array[String]): Unit = { println(add()) println(add(7,8)) println(add(9)) println(b=9) } }
object learn1 { //高阶函数，就是将其他函数作为参数或者结果的函数 //参数是一个函数，一个v，返回值也是个函数 def apply(f: Int=>String, v: Int) = f(v) def layout(x: Int) = "这个数是"+x.toString def main(args: Array[String]): Unit = { println(apply(layout, 10)) } }
被包在花括号内没有 match 的一组 case 语句是一个偏函数，它是 PartialFunction[A, B]的一个 实例，A 代表参数类型，B 代表返回类型，常用作输入模式匹配。
package day02 object ScalaPartialFunction { def func(str: String) : Int = { if(str.equals("a")) 97 else 0 } /** * 偏函数：PartialFunction[参数类型，返回值类型] */ def func1: PartialFunction[String, Int] = { case "a" => 97 case _ => 0 //补一个任意型的 } def f1: PartialFunction[Any, Int] = { case i: Int => i * 10 } def main(args: Array[String]): Unit = { println(func("a")) println(func1("a")) val arr = Array[Any](1,2,4, "你大爷的") val arr1 = Array[Int](1,2,4) val collect = arr.collect(f1) arr1.map((x:Int)=>x*10) //都会把里面的值乘以10 arr1.map(x=>x*10) arr1.map(_*10) arr.map {case x: Int => x*10}//这样就会把它转换成一个偏函数 println(collect.toBuffer) } }
数组的使用，以及常用方法
package day02 object ArrayOpt { def main(args: Array[String]): Unit = { val test = Array(1,2,3,4,5,"xxx") val arr = Array[Int](1,3,5,8,9) // map 映射，把arr里面的每个数据当参数传进去 val fx = (x: Int) => x * 10 // arr 见过map映射操作之后会返回一个新的数组,意思是一一对应 val r1 = arr.map(fx) //三种简化的方式 arr.map((x: Int) => x * 10) arr.map(x => x * 10) arr.map(_ * 10) // flatten 扁平化操作 //意思可以理解为把多个Array合成了一个Array（不去重） val arr1: Array[String] = Array("hello hello tom", "hello jerry") // Array(Array("hello","hello","tom"), Array("hello", "jerry")) //这样切分后，每一个字符串都切分成了一个Array，现在r2里面是多个Array val r2: Array[Array[String]] = arr1.map(_.split(" ")) // Array("hello","hello","tom", "hello", "jerry") 扁平化操作 r2.flatten // flatMap = map -> flatten（这个等于把map，flatten两个方法一起做了） arr1.flatMap(_.split(" ")) //foreach，循环遍历，里面需要传一个函数 arr1.flatMap(_.split(" ")).foreach(println) // 求每个单词出现的数量 word count //Array("hello","hello","tom", "hello", "jerry") val r3 = arr1.flatMap(x =>x.split(" ")) //groupBy 按照什么方法分组，里面传的是一个函数 // Map("hello" -> Array("hello", hello, hello), tom -> Array("tom") .groupBy(x => x) //取出上面分组后的value的长度，并转换成list，并按照length排序，map是没有排序方法的 //.map(x => x._2.length) //按照降序就加个-，正序就sortBy(x = > x._2) .mapValues(x => x.length).toList.sortBy(x => - x._2) println(r3) } }
然后一个比较详细的Wordcount
object WordCount { def main(args: Array[String]): Unit = { val words: Array[String] = Array("hello tom hello jim", "hello hatano hello 菲菲") // words 数组中的每个元素进行切分 // Array(Array(hello,tom,hello,jim), Array(hello,hatano,hello,菲菲)) val wordSplit: Array[Array[String]] = words.map((x: String) => x.split(" ")) // 将数组中的Array扁平化 // Array(hello,tom,hello,jim, hello,hatano,hello,菲菲) val fltWords: Array[String] = wordSplit.flatten // hello -> Array(hello, hello, hello, hello) val mapWords: Map[String, Array[String]] = fltWords.groupBy((wd: String) => wd) // (hello, 4), (tom, 1)。。。。 val wrdResult: Map[String, Int] = mapWords.map(wdKV => (wdKV._1, wdKV._2.length)) // Map不支持排序，需要将map转换成List， 调用sortBy方法按照单词数量降序排序 val sortResult: List[(String, Int)] = wrdResult.toList.sortBy(t => - t._2) sortResult.foreach(t => println(t)) } }
元组的使用
个人qq：835493858 有事联系我
