05 2021 档案

09
摘要：spark连接mysql数据库 1、安装启动检查Mysql服务。 netstat -tunlp (3306) 2、spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spa 阅读全文
posted @ 2021-05-31 19:32 杨嘉铭 阅读(153) 评论(0) 推荐(0)
08
摘要：1.用DataFrame的操作或SQL语句完成以下数据分析要求： 2.总共有多少学生？ 3.开设了多少门课程？ 4.每个学生选修了多少门课？ 5.每门课程有多少个学生选？ 6.Tom选修了几门课？每门课多少分？ 7.Tom的成绩按分数大小排序。 8.Tom的平均分。 9.每个分数+5分。 10.求每 阅读全文
posted @ 2021-05-19 23:43 杨嘉铭 阅读(323) 评论(0) 推荐(0)
07
摘要：sc创建RDD 转换成Row元素，列名=值 spark.createDataFrame生成df df.show(), df.printSchema() 3.2 使用编程方式定义RDD模式 生成“表头” fields = [StructField(field_name, StringType(), T 阅读全文
posted @ 2021-05-14 21:20 杨嘉铭 阅读(96) 评论(0) 推荐(0)
66
摘要：1。尽管数据库的事务和查询机制较好胡满足胃各类商业公司胡业务数据管理需求，但关系数据库在大数据时代不能满足各类新增的用户需求，用户需要从不同胡数据源执行各种操作，用户需要执行高级分析，比如机器学习和图像处理，而spark sql的出现填补了这个鸿沟，spakr可以提供DataFrame API,可以 阅读全文
posted @ 2021-05-10 19:05 杨嘉铭 阅读(270) 评论(0) 推荐(0)