2019年10月8日
spark中RDD转化成DataSet类型的方式进行访问
摘要： 1）创建一个样例类 scala> case class People(name:String,age:Long)defined class People 2）创建DataSet scala> val caseClassDS = Seq(People("Andy",32)).toDS()caseCla 阅读全文
posted @ 2019-10-08 22:55 markecc121 阅读(1315) 评论(0) 推荐(0)
spark中将RDD转成DataFrame形式进行查询，再讲dataframe结构数据变成sql查询
摘要： 1）通过反射确定，需要样例类，创建一个样例类 scala> case class People(name:String,age:Int)defined class People 2）开始创建一个RDD scala> val rdd =sc.makeRDD(List(("zhangsn",20),(" 阅读全文
posted @ 2019-10-08 22:35 markecc121 阅读(406) 评论(0) 推荐(0)
spark中用sql查询的方法
摘要： 1,spark中用sql方式查询的方法步骤： 1）spark res3: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSessio 2）读取数据的步骤，用spark.read 再按Table键，spark会告诉你spar 阅读全文
posted @ 2019-10-08 21:36 markecc121 阅读(3185) 评论(0) 推荐(0)