摘要：
TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理(Hybrid Transactional and Analytical Processing,HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分 阅读全文
posted @ 2025-12-16 11:15
赵渝强老师
阅读(6)
评论(0)
推荐(0)
摘要：
在了解了大数据各个生态圈所包含的组件及其功能特性后，就可以利用这些组件来搭建一个大数据平台从而实现数据的存储和数据的计算。下图展示了大数据平台的整体架构。 点击这里查看视频讲解：【赵渝强老师】大数据平台的Lambda架构 点击这里查看视频讲解：【赵渝强老师】大数据平台的Kappa架构 大数据平台的总 阅读全文
posted @ 2025-12-16 11:13
赵渝强老师
阅读(11)
评论(0)
推荐(0)
摘要：
Yarn作为一个资源和任务调度的平台，在实际应用中往往不止一个应用程序运行在Yarn之上，例如：在Yarn上同时运着MapReduce任务、Spark任务和Flink任务等等。这时候Yarn就需要有一种机制进行调度去分配资源给这些应用程序。 点击这里查看视频讲解：【赵渝强老师】Yarn的资源调度策略 阅读全文
posted @ 2025-12-16 11:10
赵渝强老师
阅读(6)
评论(0)
推荐(0)
摘要：
下图为大家展示了Hadoop生态圈体系中的主要组件以及它们彼此之间的关系。 点击这里查看视频讲解：【赵渝强老师】Hadoop生态圈组件 这里先简单说明每一个组件的作用功能。 一、HDFS 它的全称是Hadoop Distributed File System，它是Hadoop分布式文件系统，用于解决 阅读全文
posted @ 2025-12-16 11:07
赵渝强老师
阅读(11)
评论(0)
推荐(0)
摘要：
Spark的生态圈体系架构与Hadoop略有不同。因为在Spark中只有数据的计算部分，没有数据的存储部分，因为Spark的核心就是它的执行引擎。下图展示了Spark的生态圈体系，以及访问每个模块的访问接口。 点击这里查看视频讲解：【赵渝强老师】Spark生态圈组件 1、离线执行引擎Spark 阅读全文
posted @ 2025-12-16 11:05
赵渝强老师
阅读(4)
评论(0)
推荐(0)
摘要：
Flink与Spark一样也是大数据计算引擎，可以完成离线的批处理计算和流处理计算。Flink的优势在它的流处理引擎DataStream。下图展示了Flink的生态圈体系架构。 点击这里查看视频讲解：【赵渝强老师】Flink生态圈组件 从下往上可以将Flink的生态圈体系划分成三层，分别是：平台部署 阅读全文
posted @ 2025-12-16 11:03
赵渝强老师
阅读(5)
评论(0)
推荐(0)
摘要：
在部署Hadoop之前，需要对Hadoop的目录结构要有一定了解。 点击这里查看视频讲解：【赵渝强老师】部署Hadoop本地模式 先执行下面的语句将Hadoop的安装介质解压的/root/training目录。 tar -zxvf hadoop-3.1.2.tar.gz -C ~/training 阅读全文
posted @ 2025-12-16 11:01
赵渝强老师
阅读(3)
评论(0)
推荐(0)
摘要：
在Hadoop的HDFS中客户端的操作请求，无论是上传数据或者下载数据都是由NameNode负责接收和处理。最终将数据按照数据块的形式保存到数据节点DataNode上。下图说明了HDFS数据上传的过程。 点击这里查看视频讲解：【赵渝强老师】HDFS数据上传的过程 假设需要上传200M大小的一个文件。 阅读全文
posted @ 2025-12-16 10:57
赵渝强老师
阅读(7)
评论(0)
推荐(0)
摘要：
由于Flink集成了批计算和流计算，因此可以使用Flink构建流批一体的系统架构，主要包含数据集成的流批一体架构、数仓架构的流批一体架构和数据湖的流批一体。 一、数据集成的流批一体架构 在大数据场景下经常需要数据同步或者数据集成，也就是将数据库中的数据同步到大数据的数仓或者其他存储中。下图中的左边是 阅读全文
posted @ 2025-12-16 10:54
赵渝强老师
阅读(4)
评论(0)
推荐(0)
摘要：
Kafka消息系统是一个典型的分布式系统，其组成部分包括：消息生产者（Producer）、消息消费者（Consumer）、消息服务器（Broker）以及分布式协调服务ZooKeeper。一个典型的Kafka消息系统的集群架构如下图所示。 点击这里查看视频讲解：【赵渝强老师】Kafka的体系架构 下表 阅读全文
posted @ 2025-12-16 10:51
赵渝强老师
阅读(7)
评论(0)
推荐(0)
浙公网安备 33010602011771号