ha_ha33

摘要： Spark SQL 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark出现： 关系数据库已经很流行 关系数据库在大数据时代已经不能满足要求 首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据 其次，用户需要执行高级分析，比如机器学习和图像处 阅读全文

摘要： 一、集合运算练习 union()， intersection()，subtract(), cartesian() 二、内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综 阅读全文

摘要： 一、词频统计 A、步骤 准备文件：下载小说或是长篇新闻稿、上传到hdfs 2.读文件创建RDD 3.分词 4.排除大小写lower()，map()、标点符号re.split(pattern,str)，flatMap()、停用词,可网盘下载stopwords.txt,filter()、长度小于2的词f 阅读全文

摘要： 一、 RDD创建 1、启动pyspark 2、从本地文件系统中加载数据创建RDD 启动hdfs，上传到hdfs pyspark查看文件、加载 在hdfs中查看文件 停止hdfs 3、通过并行集合（列表）创建RDD 输入列表、字符串、numpy生成数组 二、 RDD操作 转换操作： 1.filter( 阅读全文

摘要： 1.Spark生态系统图、组成及各组件的功能 Spark 生态圈是加州大学伯克利分校的 AMP 实验室打造的，是一个力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的平台。 AMP 实验室运用大数据、云计算、通信等各种资源及各种灵活的 阅读全文

摘要： 一、安装Spark 1.检查基本环境Hadoop、jdk 2.配置文件，环境变量 3.试运行python代码 二、Python编程练习：英文文本的词频统计 1、准备文本文件 2.读文件，预处理，分词，统计每个单词出现的次数，按词频大小排序 path='/home/hadoop/wc/f1.txt' 阅读全文

摘要： 1、Hadoop生态图将其关系 生态圈概括： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 阅读全文