摘要：
从2.10.0版本开始，Scala提供了三种创新的字符串插值方法： s、f 和 raw于2.11.0版本开始，用于模式匹配patter match中小结：s: s"Hello, $name" //变量插值 s"1 + 1 = ${1+1}" //任意表达式插值f: f"$name%s is $height%2.2f meters tall" //插值后，格式化字符串raw:... 阅读全文
posted @ 2019-05-15 01:03
BBBone
阅读(368)
评论(0)
推荐(0)
摘要：
关系模型、多维模型和Data Vault模型是三种常见的数据仓库模型.数据结构、完整性约束和SQL语言是关系模型的三个要素.规范化是通过应用范式规则实现的.第一范式(1NF)要求保持数据的原子性第二范式(2NF)消除了部分依赖第三范式(3NF)消除了传递依赖关系模型的数据仓库一般要求满足3NF.事实、纬度、粒度是维度模型的三个核心概念.纬度模型的四步设计法是选择业务流程、声明粒度、确定纬度、确定事... 阅读全文
posted @ 2019-05-15 01:02
BBBone
阅读(631)
评论(0)
推荐(0)
摘要：
外连接:---外连接并不要求连接的两表的每一条记录在对方表中都有一条匹配记录.要保留所有记录(甚至这条记录没有匹配的记录也要保留)的表成为保留表.外连接可以一句连接表保留左表,右表和全部表的行二进一步分为左外连接、右外连接、全连接.(在这种情况下left和right表示Join关键字的两边.)在标准的SQL语言中,外连接没有隐式的连接符号.外部连接即包含ON子句又包含WHERE子句时,应当只把表之... 阅读全文
posted @ 2019-05-15 01:01
BBBone
阅读(838)
评论(0)
推荐(0)
摘要：
outputMysqlApp.scalaimport java.sql.DriverManagerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext }object outputMysqlApp extends App { //配置入口点 val conf =... 阅读全文
posted @ 2019-05-15 01:00
BBBone
阅读(482)
评论(0)
推荐(0)
摘要：
updataStateByKeyApp.scalaimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object updataStateByKeyApp extends App { //配置入口点 val conf = new SparkConf().set... 阅读全文
posted @ 2019-05-15 00:59
BBBone
阅读(334)
评论(0)
推荐(0)
摘要：
TransformationDemo.scalaimport org.apache.spark.{HashPartitioner, SparkConf, SparkContext}import scala.collection.mutable.ListBufferobject TransformationDemo extends App { val sparkConf = new SparkCo... 阅读全文
posted @ 2019-05-15 00:49
BBBone
阅读(336)
评论(0)
推荐(0)
摘要：
要用到transform and rdd.leftOuterJointransform: 使 DStream 和 RDD 之间的类型进行了转换,然后可以进行调用leftOuterJoin(左外连接,左边表不变,右边变) BlackFilterApp.scalapackage com.imooc.streamingimport org.apache.spark.SparkConfimport... 阅读全文
posted @ 2019-05-15 00:45
BBBone
阅读(1212)
评论(0)
推荐(0)
摘要：
UserDefinedTypedAggregation.scala(用户可自定义类型)import org.apache.spark.sql.expressions.Aggregatorimport org.apache.spark.sql.{Encoder, Encoders, SparkSession}object UserDefinedTypedAggregation { case clas... 阅读全文
posted @ 2019-05-15 00:41
BBBone
阅读(146)
评论(0)
推荐(0)
摘要：
SparkSQLDemo.scalaimport org.apache.spark.sql.{Row, SparkSession}import org.apache.spark.sql.types.{StringType, StructField, StructType}object SparkSQLDemo { // $example on:create_ds$ case class Per... 阅读全文
posted @ 2019-05-15 00:40
BBBone
阅读(621)
评论(0)
推荐(0)
摘要：
UserDefinedUntypedAggregate.scala(默认返回类型为空,不能更改)import org.apache.spark.sql.{Row, SparkSession}import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import or... 阅读全文
posted @ 2019-05-15 00:40
BBBone
阅读(157)
评论(0)
推荐(0)
浙公网安备 33010602011771号