湘伦籽

摘要： 补交作业7 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark SQL的数据，不是使用Java对象的方式来进行存储，而是使用面向列的内存存储的方式来进行存储。每一列作为一个数据存储的单位。从而大大优化了内存使用的效率。采用了内存列存储之后，减少了对内存的消耗，也就避 阅读全文

摘要： 三、学生课程分数 持久化 scm.cache() 总共有多少学生？map(), distinct(), count() 开设了多少门课程 生成（姓名，课程分数）键值对RDD，观察keys(),values() 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？m 阅读全文

摘要： 一、词频统计 A.分步骤实现 1.准备文件 （1）下载小说或长篇新闻稿 （2）上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,长度小于2的词filter() 5.统计词频 6 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合（列表）创建RDD输入列表、字符串、生成数组 数组 列表 字符串 二、 RDD操作 转换操作 filter(func) 显式定义函数，la 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core 实现Spark的基本功能，包括任务调度、内存管理、错误恢复、与存储系统交互等，以及RDD（Resilient Distributed Dataset）API的定义 阅读全文

摘要： 一、安装Spark 配置文件 试运行Python代码 二、Python编程练习：英文文本的词频统计 1. 准备文本文件 2.读文件 path='/home/hadoop/wc/f1.txt' with open(path) as f: txt=f.read() 3.预处理 大写转小写 txt = t 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 HDFS（hadoop分布式文件系统） HDFS是hadoop中数据存储管理的基础，现在已经成为大数据的存储标准。它适合存储一次写入，多次读出的数据。同事它也是一个高容错的系统，能检测和应对相应的硬件故 阅读全文