周维渊

摘要： https://www.cnblogs.com/Adeep/p/14853745.html 第九次作业（备考四级，没有留意信息，导致没有提交作业20） 10 期末大作业 1.选择使用什么数据，有哪些字段，多大数据量。 数据：us-counties美新冠数据 字段：日期、国家、洲、病例、死亡数 2.准 阅读全文

摘要： 启动 Mysql shell，新建数据库spark，表student。 select * from student; spark读取MySQL数据库中的数据 spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/sp 阅读全文

摘要： 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 阅读全文

摘要： 1.Spark SQL出现的 原因是什么? Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。sparkSQL提供了一个称为Da 阅读全文

摘要： 1. 结果 2. 并比较不同计算框架下编程的优缺点、适用的场景。 –Python –MapReduce –Hive –Spark Mapreduce，它最本质的两个过程就是Map和Reduce，Map的应用在于我们需要数据一对一的元素的映射转换，比如说进行截取，进行过滤，或者任何的转换操作，这些一对 阅读全文

摘要： 学生课程分数案例 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), map 阅读全文

摘要： 二、学生课程分数案例 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map().countByValue() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), 阅读全文

摘要： 备注：（和余浩铭一起完成的） 课上的文档没有拷，所以都是自己创建的文档。 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键 阅读全文

摘要： 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 阅读全文

摘要： 阅读全文