摘要: 准备工作: 1.安装VMware Workstation Pro 2.新建三个虚拟机,安装centOS7.0 版本不限 配置工作: 1.准备三台服务器(nameNode10、dataNode20、dataNode30)2.配置三台机器网络ip分别为(192.168.18.10、192.168.18. 阅读全文
posted @ 2020-04-27 14:01 渣男程序员007 阅读(149) 评论(0) 推荐(0)
摘要: 说明:hdfs:nn单点故障,压力过大,内存受限,扩展受阻。hdfs ha :主备切换方式解决单点故障hdfs Federation联邦:解决鸭梨过大。支持水平扩展,每个nn分管一部分目录,所有nn共享dn资源。使用JN集群保证数据一致性,使用zk集群解决主备切换 1.若使用主备节点,常常存在的问题 阅读全文
posted @ 2020-04-27 14:00 渣男程序员007 阅读(325) 评论(0) 推荐(0)
摘要: 什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件:HDFS:分布式存储系统MapReduce:分布式计算系统YARN: hadoop 的资源调度系统Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC 框架等 Mapreduce 是一个分布式运算程序的编程 阅读全文
posted @ 2020-04-27 13:58 渣男程序员007 阅读(322) 评论(0) 推荐(0)