摘要：
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 2. 简述RDD 和DataFrame的联系与区别。 3.DataFrame的创建与保存 3.1 PySpark-DataFrame创建： spark.read.text(url) spark.read.json(url) s 阅读全文
摘要：
集合运算练习 union()， intersection()，subtract(), cartesian() 三、学生课程分数 网盘下载sc.txt文件，通过RDD操作实现以下数据分析: 持久化 scm.cache() 总共有多少学生？map(), distinct(), count() 开设了多少 阅读全文
摘要：
一、词频统计 a.分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写，标点符号，停用词 统计 排序 输出到文件 查看结果 搜索b.一句话实现b.一句话实现 复制 b.一句话实现 阅读全文
摘要：
一、 RDD创建 从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD启动hdfs上传文件查看文件 加载 停止hdfs 通过并行集合（列表）创建RDD输入列表、字符串、生成数组 二、 RDD操作 转换操作 map(func)显式定义函数 lambda函数 行动操作 foreach(pri 阅读全文
摘要：
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 2.请详细阐述Spark的几个主要概念及相互关系： Master, Worker; RDD,DAG; Application, job,stage,task; driver,execu 阅读全文
摘要：
1.安装Spark 检查基础环境hadoop,jdk 配置文件 环境变量 运行python代码 2.python编程练习 准备文本 读文件 预处理：大小写，标点符号，停用词分词统计每个单词出现的次数按词频大小排序结果写文件 with open("data.txt", "r") as f: text= 阅读全文