摘要：
在Hadoop体系中提供数据分析引擎Hive。它允许使用SQL语句来分析处理数据，而不需要编程复杂的Java程序。同时Hive提供了丰富的数据模型来创建各种表结构，帮助数据分析人员建立数据模型。 点击这里查看视频讲解：【赵渝强老师】Hive的体系架构 Hive是基于Hadoop之上的数据仓库平台 阅读全文
posted @ 2025-12-16 10:48
赵渝强老师
阅读(4)
评论(0)
推荐(0)
摘要：
Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题，而消费者负责订阅主题进行消费。主题可以分为多个分区，一个分区只属于某一个主题。下面为列举了主题和分区的关系： 同一主题下的不同分区包含的消息不同。生产者发送给主题的消息都是具体发送到某一个分区中。 消息被追加到分区日志文件的时 阅读全文
posted @ 2025-12-16 10:38
赵渝强老师
阅读(9)
评论(0)
推荐(0)
摘要：
在Kafka中每个主题可以有多个分区，每个分区又可以有多个副本。在这多个副本中，只有一个副本的角色是Leader，而其他副本的角色都是Follower。仅有Leader副本所在的Kafka Broker可以对外提供服务。Follower副本通常不会存放在Leader副本所在的Kafka Broker 阅读全文
posted @ 2025-12-16 10:35
赵渝强老师
阅读(4)
评论(0)
推荐(0)
摘要：
要开发Spark Streaming应用程序，核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streaming中最核心的对象。DStream的全称是Discretized Stream，翻译成中文是离散流。它是Spark Streaming对流 阅读全文
posted @ 2025-12-16 10:32
赵渝强老师
阅读(4)
评论(0)
推荐(0)
摘要：
在最新的Hadoop版本中又实现了基于Router的联盟架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router将挂载表从客户端中抽离了出来，解决了ViewFS存在的问题。 点击这里查看视频讲解：【赵渝强老师】基于RBF的HDFS联邦架构 为了对用户屏蔽联盟的实现细节，将ViewFS 阅读全文
posted @ 2025-12-16 10:30
赵渝强老师
阅读(6)
评论(0)
推荐(0)
摘要：
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，它是Spark中最基本、也是最重要的的数据模型。它由分区组成，每个分区被一个Spark的Worker从节点处理，从而支持分布式的并行计算。RDD通过检查点Checkpoint的方式提供自动容错的功能，并且具有位 阅读全文
posted @ 2025-12-16 10:26
赵渝强老师
阅读(5)
评论(0)
推荐(0)
摘要：
大数据平台所要解决的问题是数据的存储和数据的计算，其核心思想采用的是分布式集群的思想。另一方面，分布式集群的思想在Google的技术系统中得到了很好的应用。因此Google将其核心技术的思想以论文的形式公开发表出来，这就是"Google的三驾马车"，即：Google的文件系统、MapReduce分 阅读全文
posted @ 2025-12-16 10:24
赵渝强老师
阅读(8)
评论(0)
推荐(0)
摘要：
大数据体系架构中的组件非常多，每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始，逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习大数据之前有必要了解一下每一个生态圈体系中具体包含哪些组件，以及它们的作用又是什么。 点击这里查看视频讲解：【赵渝强老师】大数据生态圈中的组 阅读全文
posted @ 2025-12-16 10:20
赵渝强老师
阅读(9)
评论(0)
推荐(0)
摘要：
大数据体系架构中的核心组件都是主从架构，即：存在一个主节点和多个从节点，从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。 点击这里查看视频讲解：【赵渝强老师】大数据主从架构的单点故障 从上图可以看出大数据的核心组件都是一种主从架构，而只要是主从架构就存在单点故障的问题。因为整 阅读全文
posted @ 2025-12-16 10:18
赵渝强老师
阅读(4)
评论(0)
推荐(0)
摘要：
由于在HA架构中包含的节点比较多，在进行实际部署的时候需要做好集群的规划。下表一共使用了4个节点来部署HDFS HA，它们分别是：bigdata112、bigdata113、bigdata114和bigdata115。由于Hadoop默认包含了HDFS和Yarn，因此在部署HDFS HA的时候，也可 阅读全文
posted @ 2025-12-16 10:15
赵渝强老师
阅读(3)
评论(0)
推荐(0)
浙公网安备 33010602011771号