空木蓮華

摘要： 6.RDD综合练习：更丰富的操作 https://www.cnblogs.com/orenoxuan/p/16168144.html 忘记提交时间 阅读全文

摘要： 一、集合运算练习 union() intersection() subtract() cartesian() 二、内连接与外连接 join() leftOuterJoin() rightOuterJoin() fullOuterJoin() 三、综合练习：学生课程分数 网盘下载sc.txt文件，通过 阅读全文

摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 原因： 关系数据库已经很流行 关系数据库在大数据时代已经不能满足要求，首先，用户需要从不同数据源执行各种操作，包括结构化和非结构化数据，其次用户需要执行高级分析，比如机器学习和图像处理 从实际大数据应用中，经常需要融合关系查 阅读全文

摘要： 准备文件 下载小说或长篇新闻稿 http://www.kekenet.com/read/202203/653673.shtml 上传到hdfs上 读文件创建RDD 分词 排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 停止hdfs 3.通过并行集合（列表）创建RDD 二、 RDD操作 转换操作 1.filter(func) 传入lambda匿名函数 显式定义函数 2.map(func) 显 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core：Spark的核心组件，包含任务调度、内存管理、错误恢复、与存储系统交互模块。Spark Core中包含对弹性分布式数据集的API定义，RDD是只读的分区记录的集合 阅读全文

摘要： 一、安装Spark 1.检查基础环境hadoop,jdk 启动hadoop，jps查看启动成功 查看jdk环境 下载spark 解压，文件夹重命名、权限 解压spark 文件夹重命名 授权 配置文件 环境变量 试运行Python代码 二、Python编程练习：英文文本的词频统计 准备文本文件 读文件 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 （1）HDFS分布式文件系统 HDFS可以兼容廉价的硬件设备，利用较低成本的及其实现大流量和大数据量的读写。 （2）MapReduce MapReduce是分布式并行编程模型，用户大规模数据集的并行计算 阅读全文