摘要：
大数据平台所要解决的问题是数据的存储和数据的计算，其核心思想采用的是分布式集群的思想。另一方面，分布式集群的思想在Google的技术系统中得到了很好的应用。因此Google将其核心技术的思想以论文的形式公开发表出来，这就是"Google的三驾马车"，即：Google的文件系统、MapReduce分 阅读全文
posted @ 2025-12-16 10:24
赵渝强老师
阅读(40)
评论(0)
推荐(0)
摘要：
大数据体系架构中的组件非常多，每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始，逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习大数据之前有必要了解一下每一个生态圈体系中具体包含哪些组件，以及它们的作用又是什么。 点击这里查看视频讲解：【赵渝强老师】大数据生态圈中的组 阅读全文
posted @ 2025-12-16 10:20
赵渝强老师
阅读(46)
评论(0)
推荐(0)
摘要：
大数据体系架构中的核心组件都是主从架构，即：存在一个主节点和多个从节点，从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。 点击这里查看视频讲解：【赵渝强老师】大数据主从架构的单点故障 从上图可以看出大数据的核心组件都是一种主从架构，而只要是主从架构就存在单点故障的问题。因为整 阅读全文
posted @ 2025-12-16 10:18
赵渝强老师
阅读(22)
评论(0)
推荐(0)
摘要：
由于在HA架构中包含的节点比较多，在进行实际部署的时候需要做好集群的规划。下表一共使用了4个节点来部署HDFS HA，它们分别是：bigdata112、bigdata113、bigdata114和bigdata115。由于Hadoop默认包含了HDFS和Yarn，因此在部署HDFS HA的时候，也可 阅读全文
posted @ 2025-12-16 10:15
赵渝强老师
阅读(29)
评论(0)
推荐(0)
摘要：
Hive是基于HDFS之上的数据仓库，它把所有的数据存储在HDFS中，Hive并没有专门的数据存储格式。当在Hive中创建了表，可以使用load语句将本地或者HDFS上的数据加载到表中，从而使用SQL语句进行分析和处理。 Hive的数据模型主要是指Hive的表结构，可以分为：内部表、外部表、分区表 阅读全文
posted @ 2025-12-16 10:11
赵渝强老师
阅读(36)
评论(0)
推荐(0)
摘要：
Hive的分区表跟Oracle、MySQL中分区表的概念是一样的。当表上建立了分区，就会根据分区的条件从物理存储上将表中的数据进行分隔存储。而当执行查询语句时候，也会根据分区的条件扫描特定分区中的数据，从而避免全表扫描以提高查询的效率。Hive分区表中的每个分区将会在HDFS上创建一个目录，分区中 阅读全文
posted @ 2025-12-16 10:08
赵渝强老师
阅读(36)
评论(0)
推荐(0)
摘要：
Spark RDD彼此之间会存在一定的依赖关系。依赖关系有两种不同的类型：窄依赖和宽依赖。 窄依赖：如果父RDD的每一个分区最多只被一个子RDD的分区使用，这样的依赖关系就是窄依赖； 宽依赖：如果父RDD的每一个分区被多个子RDD的分区使用，这样的依赖关系就是宽依赖。 map、filter、unio 阅读全文
posted @ 2025-12-16 10:04
赵渝强老师
阅读(40)
评论(0)
推荐(0)
摘要：
由于Spark的计算是在内存中完成，因此任务执行的生命周期lineage（血统）越长，执行出错的概念就会越大。Spark通过检查点Checkpoint的方式，将RDD的状态写入磁盘进行持久化的保存从而支持容错。如果在检查点之后有节点出现了问题，Spark只需要从检查点的位置开始重新执行lineag 阅读全文
posted @ 2025-12-16 09:59
赵渝强老师
阅读(39)
评论(0)
推荐(0)
摘要：
Spark RDD通过persist方法或cache方法可以将计算结果的缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD才会被缓存在计算节点的内存中并供后面重用。下面是persist方法或cache方法的函数定义： def persist(): this.type 阅读全文
posted @ 2025-12-16 09:24
赵渝强老师
阅读(23)
评论(0)
推荐(0)
摘要：
Kafka的生产者Producer将消息序列化之后，发送到对应主题的指定分区上。下图为展示了生产者的执行过程。 整个生产者客户端由两个线程协调运行，这两个线程分别为主线程和Sender线程。 点击这里查看视频讲解：【赵渝强老师】Kafka生产者的执行过程 1、主线程 在主线程中将创建一个Kafka 阅读全文
posted @ 2025-12-16 09:10
赵渝强老师
阅读(18)
评论(0)
推荐(0)
浙公网安备 33010602011771号