摘要：
综合练习：学生课程分数 网盘下载sc.txt文件，分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 0. 创建RDD，并转换为DataFrame；scm持久化；创建spark.sql临时表等预处理： RDD： DataFrame: spark.sql: 1 阅读全文
摘要：
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark SQL的前身是 Shark，Shark最初是美国加州大学伯克利分校的实验室开发的Spark生态系统的组件之一，它运行在Spark系统之上，Shark重用了Hive的工作机制，并直接继承了Hive的各个组件， Sh 阅读全文
摘要：
集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习： 阅读全文
摘要：
一、词频统计 A. 分步骤实现 1.准备文件 下载小说或长篇新闻稿 上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， 阅读全文
摘要：
一、 RDD创建 1.从本地文件系统中加载数据创建RDD 与原来文件对比 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 通过并行集合（列表）创建RDD输入列表、字符串、生成数组 二、 RDD操作 转换操作 filter(func)传入lambda匿名函数 m 阅读全文
摘要：
Spark生态圈以Spark Core为核心，从HDFS、Amazon S3和HBase等持久层读取数据，以MESS、YARN和自身携带的Standalone为资源管理器调度Job完成Spark应用程序的计算。 这些应用程序可以来自于不同的组件，如Spark Shell/Spark Submit的批 阅读全文
摘要：
一、安装Spark 1. 检查基础环境hadoop,jdk 2.下载spark（已有spark，略过） 3.解压，文件夹重命名、权限（略过） 4.配置文件 5.配置环境 在gedit ~/.bashrc加入代码 export SPARK_HOME=/usr/local/spark export PY 阅读全文
摘要：
大数据应该具备如下特征： 1. 数据量（Volume） 2. 多样性（Variety） 3. 价值（Value） 4. 速度（Velocity） Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算 阅读全文