摘要: 四、hdfs的安全模式 安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向namenode汇报可用的block等状态,当整个系统达到安全标准时,HDFS 阅读全文
posted @ 2020-02-04 23:59 georgeleiyi 阅读(315) 评论(0) 推荐(0)
摘要: 1、分布式文件系统的理解 2、hdfs的优缺点 hdfs的优点 (1) 高容错性 1) 数据自动保存多个副本。它通过增加副本的形式,提高容错性。 2) 某一个副本丢失以后,它可以自动恢复,这是由 HDFS 内部机制实现的,我们不必关心。 (2) 适合批处理 1) 它是通过移动计算而不是移动数据。 2 阅读全文
posted @ 2020-02-04 23:49 georgeleiyi 阅读(966) 评论(0) 推荐(0)
摘要: 一、业务架构 二、大数据全链路架构 三、主流框架 3.1 第一代大数据框架: 各自为战 3.2 第二代大数据计算框架 3.3 第三代大数据计算框架 Flink 集群启动 格式化集群 要启动 Hadoop 集群,需要启动 HDFS 和 YARN 两个集群。 注意:首次启动HDFS时,必须对其进行格式化 阅读全文
posted @ 2020-01-29 21:43 georgeleiyi 阅读(109) 评论(0) 推荐(0)