摘要：
04 RDD编程练习 未交原因：写完忘记提交了 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 05 RDD练习：词频统计，学习 阅读全文
摘要：
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文
摘要：
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
摘要：
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 阅读全文
摘要：
1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql 阅读全文
摘要：
总共有多少学生？ 总共开设了哪些课程 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每门课多少分？ Tom的成绩按分数大小排序。 Tom的平均分。 求每门课的平均分，最高分，最低分。 求每门课的选修人数及平均分，精确到2位小数。 每门课的不及 阅读全文
摘要：
每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每门课多少分？ Tom的成绩按分数大小排序。 Tom的平均分。 求每门课的平均分，最高分，最低分。 阅读全文
摘要：
1.Spark SQL出现的 原因是什么? 答：（1）Shark执行计划优化完全依赖于Hive，不便于添加新的优化策略。 （2）Spark是线程级并行，MapReduce是进程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hiv 阅读全文
摘要：
Pyspark自主实现词频统计过程。 hadoop@dblab-VirtualBox:~$ pysparkPython 3.5.1+ (default, Mar 30 2016, 22:46:26)[GCC 5.3.1 20160330] on linuxType "help", "copyrigh 阅读全文
摘要：
总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), map() RDD To 阅读全文