随笔分类 - Hadoop
一个适合海量数据的分布式存储和分布式计算的平台
摘要:一、MapReduce设计理念 map >映射 reduce >归纳,聚合 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 在线:实时数据处理 离线:数据处理时效性没有在线那么强,但是相对也需要很快得到结果 mapreduce不会马上得到结果,他会有一定的延时(磁盘IO)
阅读全文
摘要:Hadoop高可用的理解 Hadoop高可用(HA)是为了解决Hadoop分布式文件系统(HDFS)中的单点故障问题而引入的特性。在Hadoop 2.x版本之前,HDFS集群中的NameNode是单点故障源,即如果NameNode宕机,整个HDFS集群将不可用,直到NameNode被重启或在另一台机
阅读全文
摘要:一.检查虚拟机 1.检查虚拟机是正常否启动 首先,自己要先搭建完成三台虚拟机 2.MAC地址 在设置里检查三台虚拟机的MAC地址是否不同,如果相同,需要刷新以下 二.搭建前环境准备 1.时间同步 检查三台虚拟机的时间是否都是同步的 2.关闭防火墙 systemctl stop firewalld.s
阅读全文

浙公网安备 33010602011771号