摘要：
Spark的生态圈体系架构与Hadoop略有不同。因为在Spark中只有数据的计算部分，没有数据的存储部分，因为Spark的核心就是它的执行引擎。下图展示了Spark的生态圈体系，以及访问每个模块的访问接口。 点击这里查看视频讲解：【赵渝强老师】Spark生态圈组件 1、离线执行引擎Spark 阅读全文
posted @ 2025-12-16 11:05
赵渝强老师
阅读(21)
评论(0)
推荐(0)
摘要：
Flink与Spark一样也是大数据计算引擎，可以完成离线的批处理计算和流处理计算。Flink的优势在它的流处理引擎DataStream。下图展示了Flink的生态圈体系架构。 点击这里查看视频讲解：【赵渝强老师】Flink生态圈组件 从下往上可以将Flink的生态圈体系划分成三层，分别是：平台部署 阅读全文
posted @ 2025-12-16 11:03
赵渝强老师
阅读(24)
评论(0)
推荐(0)
摘要：
在部署Hadoop之前，需要对Hadoop的目录结构要有一定了解。 点击这里查看视频讲解：【赵渝强老师】部署Hadoop本地模式 先执行下面的语句将Hadoop的安装介质解压的/root/training目录。 tar -zxvf hadoop-3.1.2.tar.gz -C ~/training 阅读全文
posted @ 2025-12-16 11:01
赵渝强老师
阅读(25)
评论(0)
推荐(0)
摘要：
在Hadoop的HDFS中客户端的操作请求，无论是上传数据或者下载数据都是由NameNode负责接收和处理。最终将数据按照数据块的形式保存到数据节点DataNode上。下图说明了HDFS数据上传的过程。 点击这里查看视频讲解：【赵渝强老师】HDFS数据上传的过程 假设需要上传200M大小的一个文件。 阅读全文
posted @ 2025-12-16 10:57
赵渝强老师
阅读(32)
评论(0)
推荐(0)
摘要：
由于Flink集成了批计算和流计算，因此可以使用Flink构建流批一体的系统架构，主要包含数据集成的流批一体架构、数仓架构的流批一体架构和数据湖的流批一体。 一、数据集成的流批一体架构 在大数据场景下经常需要数据同步或者数据集成，也就是将数据库中的数据同步到大数据的数仓或者其他存储中。下图中的左边是 阅读全文
posted @ 2025-12-16 10:54
赵渝强老师
阅读(43)
评论(0)
推荐(0)
摘要：
Kafka消息系统是一个典型的分布式系统，其组成部分包括：消息生产者（Producer）、消息消费者（Consumer）、消息服务器（Broker）以及分布式协调服务ZooKeeper。一个典型的Kafka消息系统的集群架构如下图所示。 点击这里查看视频讲解：【赵渝强老师】Kafka的体系架构 下表 阅读全文
posted @ 2025-12-16 10:51
赵渝强老师
阅读(28)
评论(0)
推荐(0)
摘要：
在Hadoop体系中提供数据分析引擎Hive。它允许使用SQL语句来分析处理数据，而不需要编程复杂的Java程序。同时Hive提供了丰富的数据模型来创建各种表结构，帮助数据分析人员建立数据模型。 点击这里查看视频讲解：【赵渝强老师】Hive的体系架构 Hive是基于Hadoop之上的数据仓库平台 阅读全文
posted @ 2025-12-16 10:48
赵渝强老师
阅读(34)
评论(0)
推荐(0)
摘要：
Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题，而消费者负责订阅主题进行消费。主题可以分为多个分区，一个分区只属于某一个主题。下面为列举了主题和分区的关系： 同一主题下的不同分区包含的消息不同。生产者发送给主题的消息都是具体发送到某一个分区中。 消息被追加到分区日志文件的时 阅读全文
posted @ 2025-12-16 10:38
赵渝强老师
阅读(30)
评论(0)
推荐(0)
摘要：
在Kafka中每个主题可以有多个分区，每个分区又可以有多个副本。在这多个副本中，只有一个副本的角色是Leader，而其他副本的角色都是Follower。仅有Leader副本所在的Kafka Broker可以对外提供服务。Follower副本通常不会存放在Leader副本所在的Kafka Broker 阅读全文
posted @ 2025-12-16 10:35
赵渝强老师
阅读(25)
评论(0)
推荐(0)
摘要：
要开发Spark Streaming应用程序，核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streaming中最核心的对象。DStream的全称是Discretized Stream，翻译成中文是离散流。它是Spark Streaming对流 阅读全文
posted @ 2025-12-16 10:32
赵渝强老师
阅读(21)
评论(0)
推荐(0)
浙公网安备 33010602011771号