ztop

摘要： | Redis的安装不懂的可前往 https://www.zeker.top/posts/9d3a5b2a/ 网上搜到的代码很多，但大多都有点小毛病（方法不可用，逻辑错误等） 自己基于网上找到的代码进行修改补缺，基本符合投票系统的用户运行，只需改下面即可运行。 redis.ConnectionPoo 阅读全文

摘要： 综合练习：学生课程分数 网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析： 预处理 （1）RDD：生成RDD sc_stu = sc.textFile("file:///home/zt/s 阅读全文

摘要： 1. 请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 1.1 出现原因 SparkSQL出现是因为关系数据库已经不能满足各种在大数据时代新增的用户需求。首先，用户需要在不同的结构化和非结构化数据中执行各种操作。其次，用户需要执行像机器学习和图像处理等等高级分析，在实际应用中， 阅读全文

摘要： | 更好的观看效果请前往，原文博客地址：https://www.zeker.top/posts/338829e1/ 介绍 Docker Compose 是官方编排的项目之一，负责快速的部署分布式应用。 使用Docker Compose可以轻松、高效的管理容器，它是一个用户定义和运行多个容器的Dock 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract()，cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习：学 阅读全文

摘要： 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 >>> words = lines.flatMap(lambda a:a.split()) >>> words.collect() （1）排除大小写lower()，map() >>> words 阅读全文

摘要： 一、 RDD创建 1. 从本地文件系统中加载数据创建RDD sc：SparkContext的创建 从文件系统中加载数据创建RDD >> lines = sc.textFile("file:///home/zt/my.txt") >> lines >> lines.foreach(print) 2. 阅读全文

摘要： 一、请用图文阐述Spark生态系统的组成及各组件的功能。 Spark的生态系统主要包含了Spark Core、Spark SQL、Spark Streaming、Structured Streaming、MLlib和GraphX等组件。 图1 Spark生态系统的组成及各组件 各个组件的具体功能如下 阅读全文

摘要： 一、安装Spark 1. 检查基础环境hadoop,jdk 图1 hadoop, jdk基础环境 2. 下载spark 3. 解压，文件夹重命名、权限 4. 配置文件 编辑该配置文件/usr/local/spark/conf/spark-env.sh，在文件中加上如下一行内容： export SPA 阅读全文

摘要： 一、列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 图1 Hadoop生态圈 1、HDFS（分布式文件系统） HDFS是Hadoop组件的核心之一，是整个hadoop体系的基础，是用来负责数据的存储与管理功能的。 HDFS是高度容错设计和适合在低成本的硬 阅读全文