摘要： 综合练习：学生课程分数 网盘下载sc.txt文件，分别创建RDD、DataFrame和临时表/视图； 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 1.总共有多少学生？ 2.总共开设了多少门课程？ 3.每个学生选修了多少门课？ 4.每门课程有多少个学生 阅读全文

摘要： 1.1 PySpark-DataFrame创建： spark.read.text(url) spark.read.format("text").load("people.txt") >>> df1 = spark.read.text('file:///usr/local/spark/examples 阅读全文

摘要： 一、词频统计 A. 分步骤实现 1.上传到hdfs上 2，读文件创建RDD 3.分词 4.排除大小写lower()，map() 5.标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()，长度小于2的词filter() 阅读全文

摘要： 5.RDD操作综合实例 https://www.cnblogs.com/mwbb/p/16195382.html 一、集合运算练习 union()， intersection()，subtract(), cartesian() 二、内连接与外连接 join(), leftOuterJoin(), r 阅读全文

摘要： 一、 RDD创建 1、从本地文件系统中加载数据创建RDD 2. 从HDFS加载数据 创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3. 通过并行集合（列表）创建RDD 输入列表 字符串 生成数组 二、 RDD操作 1. 转换操作 map(func) 显式定义函数 lambda函数 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 1. Spark CoreSpark Core是整个BDAS的核心组件，是一种大数据分布式处理框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供如f 阅读全文

摘要： 一、安装Spark 1.检查基础环境hadoop,jdk 2.配置文件 3.环境变量 4.试运行Python代码 二、Python编程练习：英文文本的词频统计 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1.HDFS: HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，运行在通用硬件上的分布式文件系统。 除具备其它分布式文件系统相同特性外， 阅读全文