2021年6月7日

摘要： 补： https://www.cnblogs.com/cmy523/p/14860662.html： 06 SPARK SQL 及其DATAFRAME的基本操作 原因：忘了交了 一、.选择使用什么数据，有哪些字段，多大数据量。 us-counties美新冠数据；字段有日期（date），县（count 阅读全文

摘要： 1.Spark SQL出现的 原因是什么? spark sql是spark用来处理结构化数据的一个模块，与hive的hql不同，hive需要将hql转化成MapReduce然后提交执行，sparksql将sql语句转换成rdd然后提交集群执行，将执行效率大大提升 2.用spark.read 创建Da 阅读全文