随笔分类 -  Hadoop

一个适合海量数据的分布式存储和分布式计算的平台
摘要:一、MapReduce设计理念 map >映射 reduce >归纳,聚合 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 ​ 在线:实时数据处理 ​ 离线:数据处理时效性没有在线那么强,但是相对也需要很快得到结果 mapreduce不会马上得到结果,他会有一定的延时(磁盘IO) 阅读全文
posted @ 2024-11-11 09:02 bjynjj 阅读(36) 评论(0) 推荐(0)
摘要:Hadoop高可用的理解 Hadoop高可用(HA)是为了解决Hadoop分布式文件系统(HDFS)中的单点故障问题而引入的特性。在Hadoop 2.x版本之前,HDFS集群中的NameNode是单点故障源,即如果NameNode宕机,整个HDFS集群将不可用,直到NameNode被重启或在另一台机 阅读全文
posted @ 2024-11-04 19:28 bjynjj 阅读(105) 评论(0) 推荐(0)
摘要:一.检查虚拟机 1.检查虚拟机是正常否启动 首先,自己要先搭建完成三台虚拟机 2.MAC地址 在设置里检查三台虚拟机的MAC地址是否不同,如果相同,需要刷新以下 二.搭建前环境准备 1.时间同步 检查三台虚拟机的时间是否都是同步的 2.关闭防火墙 systemctl stop firewalld.s 阅读全文
posted @ 2024-11-01 19:41 bjynjj 阅读(584) 评论(0) 推荐(0)