05 2021 档案

09
摘要：安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql shell 阅读全文
posted @ 2021-05-31 20:46 果宝机甲，归位！！！ 阅读(29) 评论(0) 推荐(0) 编辑
08 学生课程分数的Spark SQL分析
摘要：1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 每个分数+5分。 总共有多少学生？ 每个学生选修了多少门课？ 每门课程大于95分的学生人数？ Tom选修了几门课？每门课多少分？ Tom的平均分 求每门课的平均分，最高分，最低分。 每门课的不及格人数，通过率 阅读全文
posted @ 2021-05-20 20:16 果宝机甲，归位！！！ 阅读(38) 评论(0) 推荐(0) 编辑
07 从RDD创建DataFrame
摘要：1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 3.1 利用反射机制推断RDD模式 sc创建RDD 转换成Row元素，列名=值 阅读全文
posted @ 2021-05-14 21:23 果宝机甲，归位！！！ 阅读(47) 评论(0) 推荐(0) 编辑
dataframe
摘要：1.Spark SQL出现的 原因是什么? 2.用spark.read 创建DataFrame 3.观察从不同类型文件创建DataFrame有什么异同? 4.观察Spark的DataFrame与Python pandas的DataFrame有什么异同？ spark_sql中DataFrame创建: 阅读全文
posted @ 2021-05-10 14:33 果宝机甲，归位！！！ 阅读(40) 评论(0) 推荐(0) 编辑