摘要：
综合练习：学生课程分数 网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 RDD操作见https://www.cnblogs.com/Kiranar/p/16138625.html 同一操作插入sql/dataframe操作图，sql在下，dataframe在上 datafram 阅读全文
摘要：
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 最开始是为了在Hadoop上实现用 类SQL的语法 对 SQL 的快速查询。 Spark 开始兴起之后，就开始转向在Spark上使用Hive，然后开始发展SparkSQL 2. 简述RDD 和DataFrame的联系与区别。 阅读全文
摘要：
持久化 scm.cache() 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 生成（姓名，课程分数）键值对RDD，观察keys(),values( 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), cou 阅读全文
摘要：
一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写lower()，map()标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()，长度小于2的词filt 阅读全文
摘要：
一、 RDD创建 从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD启动hdfs上传文件查看文件加载停止hdfs 通过并行集合（列表）创建RDD输入列表、字符串、生成数组 二、 RDD操作 转换操作 map(func)显式定义函数lambda函数 行动操作 foreach(print) 阅读全文
摘要：
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 2.请详细阐述Spark的几个主要概念及相互关系： Master, Worker; RDD,DAG; Application, job,stage,task; driver,execu 阅读全文
摘要：
一、安装Spark 检查基础环境hadoop,jdk 下载spark 解压，文件夹重命名、权限 配置文件 环境变量 试运行Python代码 二、Python编程练习：英文文本的词频统计 准备文本文件 读文件 预处理：大小写，标点符号，停用词 分词 统计每个单词出现的次数 按词频大小排序 结果写文件 阅读全文
摘要：
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系 2.对比Hadoop与Spark的优缺点。 3.如何实现Hadoop与Spark的统一部署？ Hadoop生态中Yarn负责资源调度，Spark通过ApplicationMaster申请Yarn上的资源以完成统一部署，即Spar 阅读全文