摘要： 6.RDD综合练习：更丰富的操作 集合运算联系（union\intersection\subtract\cartesian) 内连接与外连接(join\left\rightOuterJoin\fullOuterJoin) 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习：学生课程分数 网盘下载 阅读全文

摘要： 一、词频统计 A.分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs 启动hdfs 上传文件并查看 2.读文件创建RDD 创建SparkContext以及从文件系统中加载数据创建RDD 与原txt文件对比 3.分词 4.标点符号re.split(pattern,str)，flat 阅读全文

摘要： 一、RDD创建 输出查询结果 因为我的word.txt文件是随意打的字符 无查找结果 因此此处报错 在虚拟环境进行操作 从HDFS加载数据创建RDD 加载 停止hdfs 通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 1. filter(func)传入lamb 阅读全文

摘要： Spark生态系统的组成及各组件的功能 Spark生态圈也称为BDAS（伯克利数据分析栈），是伯克利APMLab实验室打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的一个平台。伯克利AMPLab运用大数据、云计算、通信等各种 阅读全文

摘要： 二：Python编程练习：英文文本的词频统计 1.准备文本文件 2.读文件 预处理：大小写，标点符号，停用词，分词，统计每个单词出现的次数 ，按词频大小排序 def get_text(file_name): with open(file_name,'r',encoding='utf-8') as f 阅读全文

摘要： 1. 借鉴网图： 2.两者的各方面比较（1）Spark对标于Hadoop中的计算模块MR，但是速度和效率比MR要快得多； （2）Spark没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作，它只是一个计算分析框架，专门用来对分布式存储的数据进行计算处理，它本身并不能存储数据； 阅读全文