| | | |

2020年7月26日

摘要： 8.3 HDFS-HA集群配置 8.3.1 环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 8.3.2 规划集群表3-1 hadoop102 hadoop103 hadoop104 NameNode Na 阅读全文

posted @ 2020-07-26 19:14 ♂ 阅读(231) 评论(0) 推荐(0)

hadoop中yarn整理

摘要： Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMas 阅读全文

posted @ 2020-07-26 19:11 ♂ 阅读(183) 评论(0) 推荐(0)

hadoop中mapReduce整理

摘要： 1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 3）第二个阶段的ReduceTask并发实例互不阅读全文

posted @ 2020-07-26 17:52 ♂ 阅读(271) 评论(0) 推荐(0)

hadoop中HDFS整理

摘要： 1.1.HDFS. 它是一个分布式文件管理系统，用来存储文件，通过目录树来定位文件；由多个服务器联合起来实现功能，集群中的服务器有各自的角色。适用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据的分析，并不适合用来做网盘应用。 1.1.1NameNode：就是master，它阅读全文

posted @ 2020-07-26 17:08 ♂ 阅读(223) 评论(0) 推荐(0)