摘要：
02 Spark架构与运行流程 03 Spark RDD编程基础 05 RDD练习：词频统计，学习课程分数 07 Spark RDD编程 综合实例 英文词频统计 07 从RDD创建DataFrame 作业截图在课堂上保存了，没有来得及整理归纳，回宿舍没留意好提交时间，导致错过了 大作业： 1.选择使 阅读全文
摘要：
1、Spark已打造出结构一体化、功能多样化的大数据生态系统，请简述Spark生态系统 Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成一套完整生态系统，既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等。Spark可以部署在资源管理器YARN之上， 阅读全文
摘要：
1.准备文本文件 从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter() lambda 参数：条件表达式 2. 生成单词的列表 从列表创建RDD words=sc.parallelize() 筛选出长度大于10 的单词 words.filter( 阅读全文
摘要：
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
摘要：
1、用Pyspark自主实现词频统计过程。 2. 并比较不同计算框架下编程的优缺点、适用的场景。 –Python –MapReduce –Hive –Spark Mapreduce，它最本质的两个过程就是Map和Reduce，Map的应用在于我们需要数据一对一的元素的映射转换，比如说进行截取，进行过 阅读全文
摘要：
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文