摘要： 10 期末大作业 作业1：https://www.cnblogs.com/QingLian/p/14468142.html 原因：好像交了好像又没交成功，可能只是写了随笔吧。 1.选择使用什么数据，有哪些字段，多大数据量。 用kaggle提供的美国疫情数据 2.准备分析哪些问题，可视化方式？（8个以 阅读全文

摘要： 09 spark连接mysql数据库 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/sp 阅读全文

摘要： 08 学生课程分数的Spark SQL分析 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 1.每个分数+5分。 2.总共有多少学生？ 3.总共开设了哪些课程？ 4.每个学生选修了多少门课？ 5.每门课程有多少个 阅读全文

摘要： 06 Spark SQL 及其DataFrame的基本操作 一. 1.Spark SQL出现的 原因是什么? spark sql是从shark发展而来。Shark为了实现Hive兼容，在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作 阅读全文

摘要： 07 Spark RDD编程 综合实例 英文词频统计 1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... el 阅读全文

摘要： 二、学生课程分数案例 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map().countByValue() //map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修 阅读全文

摘要： 05 RDD练习：词频统计，学习课程分数 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频  阅读全文

摘要： 04 RDD编程练习 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 阅读全文

摘要： Spark RDD 编程基础 好文要顶 关注我 收藏该文 阅读全文

摘要： 1. 为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的 阅读全文