随笔分类 - Scala
摘要：case class Result(id:String,open:Double,close:Double, high:Double,low:Double, day:String,hour:String, window_start:String,window_end:String) case clas
阅读全文
摘要：1. pom文件形式一如下：scala和java混合的spark程序之前使用其他配置始终有报找不到包的情况，尝试了一下如下配置可以打包成功。 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>
阅读全文
摘要：1. table转map //事件权重 val eventWeightQuery = "select eventId,eventCode,eventName,weight from dwd.dwd_event_weight_dim"; val eventWeightMap = spark.sql(e
阅读全文
摘要：透视函数其实就是我们excel中常用的数据透视表相似，先来看个例子。 以下是准备的数据源，数据是电商系统中用户的行为数据(浏览，收藏，加购，成交，评分等)，score为统计次数。 对应的字段分别为 租户id，用户id，商品编码Id，行为事件代码，当日统计次数，统计日期。 现在我们要转换成目标的数据是
阅读全文
摘要：scala中经常遇到最头疼的问题，就是类型不匹配或者带Any，Option的提示错误信息。 最近碰到的是取最大值，但是明明已经Long类型的，却提示下面这个错误信息。 相关的源程序如下： 这里如果将上面的第2行添加返回类型，则会提示以下错误： 解决方法： 添加转换_.toLong
阅读全文
摘要：这个问题研究好久。。。头大，不记得有fold用法了。 fold函数：折叠，提供一个输入参数作为初始值，然后大括号中应用自定义fun函数并返回值。 上面代码意思是 1) 给定初始值空的Map() 2) 然后对list中每个元素做折叠累加， ++ 是连接两个map的方法。 3) 最后返回所有map的连接
阅读全文
摘要：对于java中的集合元素并不能在scala中拿来就用的，需要进行相应的转换。 1. 转换规则如下 从下面可以看出，有些可以相互转换的，有些只能单向转换： 2. 转换操作步骤 1) 导入包 import scala.collection.JavaConverters._ 2) 添加 .asScala或
阅读全文
摘要：http://blog.csdn.net/olsQ93038o99S/article/details/78374343 参考别人的文章吧。。。。
阅读全文
摘要：在scala类中get和set使用有以下几种: 1. var foo: Scala自动合成一个getter和一个setter 2. val foo: Scala自动合成一个getter scala中var用于定义一个可变量, val定义一个常量。 所以在1中，当我们定义1个变量foo时候，会自动有一
阅读全文
浙公网安备 33010602011771号