摘要: 综合练习:学生课程分数 网盘下载sc.txt文件,分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 0. 创建RDD,并转换为DataFrame;scm持久化;创建spark.sql临时表等预处理: RDD: DataFrame: spark.sql: 1 阅读全文
posted @ 2022-06-06 15:31 清澈的眼神 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 Spark SQL的前身是 Shark,Shark最初是美国加州大学伯克利分校的实验室开发的Spark生态系统的组件之一,它运行在Spark系统之上,Shark重用了Hive的工作机制,并直接继承了Hive的各个组件, Sh 阅读全文
posted @ 2022-05-10 21:26 清澈的眼神 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 集合运算练习 union(), intersection(),subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件,签到日期汇总,出勤次数统计 三、综合练习: 阅读全文
posted @ 2022-04-19 10:39 清澈的眼神 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计 A. 分步骤实现 1.准备文件 下载小说或长篇新闻稿 上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwords.txt,filter(), 阅读全文
posted @ 2022-04-12 13:26 清澈的眼神 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 与原来文件对比 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 通过并行集合(列表)创建RDD输入列表、字符串、生成数组 二、 RDD操作 转换操作 filter(func)传入lambda匿名函数 m 阅读全文
posted @ 2022-03-26 16:26 清澈的眼神 阅读(10) 评论(0) 推荐(0) 编辑
摘要: Spark生态圈以Spark Core为核心,从HDFS、Amazon S3和HBase等持久层读取数据,以MESS、YARN和自身携带的Standalone为资源管理器调度Job完成Spark应用程序的计算。 这些应用程序可以来自于不同的组件,如Spark Shell/Spark Submit的批 阅读全文
posted @ 2022-03-12 17:31 清澈的眼神 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 一、安装Spark 1. 检查基础环境hadoop,jdk 2.下载spark(已有spark,略过) 3.解压,文件夹重命名、权限(略过) 4.配置文件 5.配置环境 在gedit ~/.bashrc加入代码 export SPARK_HOME=/usr/local/spark export PY 阅读全文
posted @ 2022-03-03 22:31 清澈的眼神 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 大数据应该具备如下特征: 1. 数据量(Volume) 2. 多样性(Variety) 3. 价值(Value) 4. 速度(Velocity) Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算 阅读全文
posted @ 2022-02-22 10:52 清澈的眼神 阅读(31) 评论(0) 推荐(0) 编辑