05 2021 档案

09 spark连接mysql数据库
摘要：1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql 阅读全文
posted @ 2021-05-31 12:44 088黄钜添 阅读(23) 评论(0) 推荐(0)
08 学生课程分数的Spark SQL分析
摘要：学生课程分数的Spark SQL分析 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95 阅读全文
posted @ 2021-05-26 22:14 088黄钜添 阅读(50) 评论(0) 推荐(0)
06 Spark SQL 及其DataFrame的基本操作
摘要：1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data 阅读全文
posted @ 2021-05-09 22:27 088黄钜添 阅读(37) 评论(0) 推荐(0)