麦成志

摘要： from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("My App") sc=SparkContext(conf=conf) ​ url = "file:///hom 阅读全文

摘要： 1 分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、Dat 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 三、学生课程分数 网盘下载sc.txt文件，通过RDD操作实现以下数据分析: 持久化 stu.cache() 总共有多少学生？map(), distinct(), count() 开设了多少 阅读全文

摘要： 1.准备文件,上传到hdfs上 2.读文件创建RDD 3.分词、排除大小写，标点符号、排序统计词频、排序 4.输出到文件 5.查看结果 一句话实现 阅读全文

摘要： 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 2.请详细阐述Spark的几个主要概念及相互关系： 1.Task(任务)：RDD中的一个分区对应一个task，task是单个分区上最小的处理流程单元 2.TaskSet(任务集)：一组 阅读全文

摘要： with open("earth_song.txt", "r") as f: text = f.read() text = text.lower() for ch in '!@#$%^&*(_)-+=\\[]}{|;:\'\"`~,<.>?/': text = text.replace(ch, " 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1，HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 2，mapreduce（分布式计算框架） mapreduce是一种计算 阅读全文