摘要： 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了S 阅读全文

摘要： 三、学生课程分数 网盘下载sc.txt文件，通过RDD操作实现以下数据分析: 持久化 scm.cache() 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 生成（姓名，课程分数）键值对RDD，观察keys(),values() 每个学生选修了多少门课？ma 阅读全文

摘要： A. 分步骤实现 1. 准备文件读文件创建RDD 1.下载小说或长篇新闻稿 2.上传到hdfs上 2. 准备文件读文件创建RDD 3.分词 4.排除大小写lower()，map() 4.1.标点符号re.split(pattern,str)，flatMap() 去掉无用数据： 4.2.停用词,可网盘 阅读全文

摘要： 一、 RDD创建 从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD启动hdfs上传文件查看文件加载停止hdfs 通过并行集合（列表）创建RDD输入列表、字符串、生成数组 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 2.请详细阐述Spark的几个主要概念及相互关系： Master, Worker; RDD,DAG; Application, job,stage,task; driver,execu 阅读全文

摘要： 一、安装Spark 检查基础环境hadoop,jdk 2.下载spark 3.配置文件 配置环境 vim /usr/local/spark/conf/spark-env.sh 二、Python编程练习：英文文本的词频统计 1.准备文本文件 2.统计每个单词出现的次数 counts = {} for 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1.HDFS(hadoop分布式文件系统) 是hadoop体系中数据存储管理的他是一个基础。它是一个高度容错的的系统，能检测和应对硬件故障。 client:切分文件，访问HDFS，与之交互，获取文件位置 阅读全文