摘要：
综合练习：学生课程分数 网盘下载sc.txt文件，分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生？ 总共开设了多少门课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程>95分的学生人数 课程'Python'有多少个100 阅读全文
摘要：
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 答： Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、 阅读全文
摘要：
集合运算练习 union()， intersection()，subtract(), cartesian() 三、学生课程分数 网盘下载sc.txt文件，通过RDD操作实现以下数据分析: 持久化 scm.cache() lines=sc.textFile("hdfs://localhost:9000 阅读全文
摘要：
一、词频统计 A.分步骤实现 1.准备文件 a.下载小说或长篇新闻稿 直接复制小说粘贴到txt文件 b.上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwo 阅读全文
摘要：
一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合（列表）创建RDD输入列表、字符串、生成数组 二、 RDD操作 转换操作 1.filter(func) 显式定义函数lambda函数 2. 阅读全文
摘要：
一、Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 答：Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成一套完整生态系统，既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等。Spark可 阅读全文
摘要：
一、安装Spark 1.检查基础环境hadoop和jdk。 2.以前下载过spark，所以第二、三步直接跳过。 3.接下来配置文件。 4.环境变量 使用vim ~/.bashrc进行配置，然后使用source ~/.bashrc生效。 5.试运行Python代码。 (1)执行以下命令启动pyspar 阅读全文
摘要：
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 答： 1) HDFS： 功能：处理超大数据、流式处理、存储和管理数据。 2) MapReduce： 功能：数据划分和计算任务调度、数据/代码互定位、系统优化、检测出错和恢复出错数据。 3) Hive： 阅读全文