kk020306

摘要： RDD 编程练习 一、filter, map, flatmap 练习： 1. 读文本文件生成 RDD lines >>> lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") 2. 将一行一行的文本分割成单词 words > 阅读全文

摘要： 06 Spark SQL 及其DataFrame的基本操作 1.Spark SQL出现的 原因是什么? 由于MapReduce这种计算模型执行效率比较慢，所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快，同时Spark SQL也支持从Hive 阅读全文

摘要： 从RDD创建DataFrame 07 1.pandas df 与 spark df的相互转 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806. 阅读全文

摘要： 08 学生课程分数的Spark SQL分析 一. 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现 阅读全文