摘要：
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark SQL的数据，不是使用Java对象的方式来进行存储，而是使用面向列的内存存储的方式来进行存储。每一列作为一个数据存储的单位。从而大大优化了内存使用的效率。采用了内存列存储之后，减少了对内存的消耗，也就避免了gc大量 阅读全文
摘要：
学生课程分数 1.持久化 scm.cache() 2.总共有多少学生？map(), distinct(), count() 3.开设了多少门课程？ 4.生成（姓名，课程分数）键值对RDD，观察keys(),values() 5.每个学生选修了多少门课？map(), countByKey() 6.每门 阅读全文
摘要：
一、词频统计 1.准备文件 2.读文件创建RDD 3.分词 4.排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， 长度小于2的词filter() 5.统计词频 6.按词频排 阅读全文
摘要：
1.从本地文件系统中加载数据创建RDD 输入spark-shell 进入spark-shell环境 2.从HDFS加载数据创建RDD 启动hdfs 输入 start-all.sh 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二 阅读全文
摘要：
一.请用图文阐述Spark生态系统的组成及各组件的功能。 1. Spark Core Spark Core是整个Spark生态系统的核心组件，是一种大数据分布式处理框架，实现了MapReduce同时还提供了filter、join、groupByKey等更丰富的算子。 2. Mesos、Yarn 资源 阅读全文
摘要：
1.环境测试 spark版本 Python环境 2.在pyspark中测试代码 测试代码:print('打印一个spark') 输出: 打印一个spark 词频统计： 查看代码 import os import re path='/home/hadoop/wc/spark_test.txt' wit 阅读全文
摘要：
1.大数据概述 一.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1、HDFS（分布式文件系统） 提供分布式数据存储、集中管理功能，为hdaoop生态提供数据基础 2、MapReduce（分布式计算框架） 输入分片(input split)->map阶 阅读全文