2021年3月9日
学习进度报告08
摘要： 练习了sparksql+hive学习 阅读全文
posted @ 2021-03-09 22:48 ziyuliu 阅读(57) 评论(0) 推荐(0)
SparkSQL+Hive
摘要： 我这里spark3.0.1+hive3.1.2 先启动Hive的metastore node2 nohup /usr/local/hive/bin/hive --service metastore & jps 把hive的配置文件hive-site.xml拷贝到spark/conf目录,把mysql 阅读全文
posted @ 2021-03-09 22:36 ziyuliu 阅读(253) 评论(0) 推荐(0)
SparkSQL花式查询
摘要： 需求:针对personDF中的数据使用SQL和DSL两种方式进行各种查询 package cn.itcast.sql import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spar 阅读全文
posted @ 2021-03-09 13:06 ziyuliu 阅读(316) 评论(0) 推荐(0)
RDD-DF-DS相互转换
摘要： package cn.itcast.sql import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Dataset, Row, Spark 阅读全文
posted @ 2021-03-09 11:22 ziyuliu 阅读(676) 评论(0) 推荐(0)