摘要：
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现的原因：因为关系数据库已经很流行，而且关系数据库在大数据时代已经不能满足要求。首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据。其次，用户需要执行高级分析，比如机器学习和图像处理。 阅读全文
摘要：
持久化 scm.cache() 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 生成（姓名，课程分数）键值对RDD，观察keys(),values() 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), co 阅读全文
摘要：
1.准备文件,上传到hdfs上 2.读文件、分词、排除大小写，标点符号，停用词，长度小于2的词 统计词频、排序 输出 保存到本地 求TOP值 阅读全文
摘要：
一.RDD操作 1.从本地文件系统中加载数据创建RDD lines=sc.textFile("file:///文件路径").foreach(print) 2.从HDFS加载数据创建RDD 启动HDFS start-all.sh 查看HDFS文件 hdfs dfs -ls 查看的文件目录 上传文件到H 阅读全文
摘要：
老师：MissDu 提交作业 一.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 1. Spark CoreSpark Core是整个BDAS的核心组件，是一种大数据分布式处理框架，不仅实现了MapReduce的算子map函数和red 阅读全文
摘要：
检查基础环境hadoop,jdk 解压，文件夹重命名、权限 更改配置文件 更改环境变量 gedit ~/.bashrc export SPARK_HOME=/usr/local/spark export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python 阅读全文
摘要：
题目： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 2.对比Hadoop与Spark的优缺点。 3.如何实现Hadoop与Spark的统一部署？ 回答： 1）Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 阅读全文