2022年3月12日
Spark source API：构建DF、RDD与DF之间的相互转换、show()的三种用法
摘要： spark source API：构建DF、RDD与DF之间的相互转换、show()的三种用法 读取csv格式的文件，构建DF 读取json格式的文件，构建DF 1、不需要指定分割方式 2、不需要指定字段名和字段类型(json自带字段和字段类型) 3、 json格式的文件相对于csv，会占用额外的空 阅读全文
posted @ 2022-03-12 20:43 阿伟宝座 阅读(1042) 评论(0) 推荐(0)
Spark SQL的介绍和WordCount案例
摘要： Spark SQL的介绍和WordCount案例 Hive SQL是在Hive命令行里编写 DataSource API 数据源API Spark SQL可以读取很多格式的数据，常用的有以下三种： 1、CSV 文本格式 2、JSON 3、JDBC 数据库的格式 DataFrame API 数据框AP 阅读全文
posted @ 2022-03-12 14:13 阿伟宝座 阅读(392) 评论(0) 推荐(0)