摘要: spark连接mysql数据库 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark 阅读全文
posted @ 2021-05-30 23:55 牛奶我只喝现挤的 阅读(59) 评论(0) 推荐(0) 编辑
摘要: 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 >>> url = "file:///usr/local/spark/mycode/rdd/chapter4-data01.txt" >>> rdd = spark.sparkContext.textFile(url 阅读全文
posted @ 2021-05-20 01:32 牛奶我只喝现挤的 阅读(45) 评论(0) 推荐(0) 编辑
摘要: 0.前次作业:从文件创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() >>> import pandas as pd>>> import numpy as np> 阅读全文
posted @ 2021-05-13 22:22 牛奶我只喝现挤的 阅读(51) 评论(0) 推荐(0) 编辑
摘要: 1.Spark SQL出现的 原因是什么? spark sql是spark用来处理结构化数据的一个模块,与hive的hql不同,hive需要将hql转化成MapReduce然后提交执行,sparksql将sql语句转换成rdd然后提交集群执行,将执行效率大大提升 2.用spark.read 创建Da 阅读全文
posted @ 2021-05-10 15:36 牛奶我只喝现挤的 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计: 1读文本文件生成RDD lines lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines.foreach(print) 2将一行一行的文本分割成单词 words flatmap() words=l 阅读全文
posted @ 2021-04-17 21:29 牛奶我只喝现挤的 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines.foreach(print) words 阅读全文
posted @ 2021-04-05 19:27 牛奶我只喝现挤的 阅读(73) 评论(0) 推荐(0) 编辑
摘要: 一、filter,map,flatmap练习: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") words = lines.flatMa 阅读全文
posted @ 2021-03-30 22:24 牛奶我只喝现挤的 阅读(41) 评论(0) 推荐(0) 编辑
摘要: 我是48号 我是陈伟基 我复制我光荣 我爱大数据!! 阅读全文
posted @ 2021-03-29 21:49 牛奶我只喝现挤的 阅读(38) 评论(0) 推荐(1) 编辑
摘要: 1.准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")linesWi 阅读全文
posted @ 2021-03-28 18:18 牛奶我只喝现挤的 阅读(35) 评论(0) 推荐(0) 编辑
摘要: 1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoo 阅读全文
posted @ 2021-03-12 16:44 牛奶我只喝现挤的 阅读(86) 评论(0) 推荐(0) 编辑