箫碧栽植

摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 关系数据库在大数据时代已经不能满足要求 首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据 其次，用户需要执行高级分析，比如机器学习和图像处理 在实际大数据应用中，经常需要融合关系查询和复杂分析算法（ 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() rdd1=sc.parallelize('abcd') rdd2=sc.parallelize('bcde') rdd1.union(rdd2).collect() rdd1.interse 阅读全文

摘要： 一、词频统计 A. 分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 hdfs dfs -cat ./ysy.txt 2.读文件创建RDD lines=sc.textFile("hdfs://localhost:9000/user/hadoop/ysy.txt") lines 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD lines = sc.textFile("file:///usr/local/spark/rdd/ysy.txt") lines.foreach(print) 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hd 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 目前，Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台系统。在Spark生态圈中包含了Spark 阅读全文

摘要： 一、安装spark和python练习 查看spark所在的位置 开启spark所需要的节点 查看配置文件 开启spark并进行简单python语句测试 二、Python编程练习：英文文本的词频统计 代码： 1 path='/home/hadoop/桌面/ysy.txt' 2 f=open(path) 阅读全文

摘要： 列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 经过多年的发展，Hadoop生态系统不断完善和成熟，目前已经包含多个子项目。除了核心的HDFS和MapReduce以外，Hadoop还包括ZooKeeper、HBase、Hive、Pig、Mahout、Fl 阅读全文