05 2021 档案

09 spark连接mysql数据库
摘要：spark连接mysql数据库: 1.安装启动检查Mysql服务。 2.spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars netstat -tunl 阅读全文
posted @ 2021-05-30 22:09 ZHAIC005 阅读(57) 评论(0) 推荐(0)
08 学生课程分数的Spark SQL分析
摘要：读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 一、DataFrame的操作 每个分数 阅读全文
posted @ 2021-05-20 12:51 ZHAIC005 阅读(56) 评论(0) 推荐(0)
07 从RDD创建DataFrame
摘要：1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文
posted @ 2021-05-14 20:44 ZHAIC005 阅读(42) 评论(0) 推荐(0)
06 Spark SQL 及其DataFrame的基本操作
摘要：1.Spark SQL出现的 原因是什么? sparkSQL的前身是shark。在hadoop发展过程当中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，hive应运而生，是当时惟一运行在hadoop上的SQL-on-Hadoop工具。 sparkSQL做为Spark 阅读全文
posted @ 2021-05-10 13:13 ZHAIC005 阅读(103) 评论(0) 推荐(0)