摘要：
spark连接mysql数据库 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark 阅读全文
摘要：
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 >>> url = "file:///usr/local/spark/mycode/rdd/chapter4-data01.txt" >>> rdd = spark.sparkContext.textFile(url 阅读全文
摘要：
0.前次作业：从文件创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() >>> import pandas as pd>>> import numpy as np> 阅读全文
摘要：
1.Spark SQL出现的 原因是什么? spark sql是spark用来处理结构化数据的一个模块，与hive的hql不同，hive需要将hql转化成MapReduce然后提交执行，sparksql将sql语句转换成rdd然后提交集群执行，将执行效率大大提升 2.用spark.read 创建Da 阅读全文
摘要：
一、词频统计： 1读文本文件生成RDD lines lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines.foreach(print) 2将一行一行的文本分割成单词 words flatmap() words=l 阅读全文
摘要：
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines.foreach(print) words 阅读全文
摘要：
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") words = lines.flatMa 阅读全文
摘要：
我是48号 我是陈伟基 我复制我光荣 我爱大数据！！ 阅读全文
摘要：
1.准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")linesWi 阅读全文
摘要：
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce，hadoo 阅读全文