07 2017 档案

Hadoop 2.x 之 HA 简介
摘要：HA结构图 HA是用来解决单点故障问题 DN: DataNode，启动时会往所有的NameNode汇报 NN: NameNode(主 Active(一个) 备 Standby(可以有多个)) JournalNodes:JournalNodes就是用来存储元数据的,是一个集群，节点数量必须为奇数个。 阅读全文

posted @ 2017-07-28 00:01 嘣嘣嚓 阅读(309) 评论(0) 推荐(0)

Hadoop 2.x简介
摘要：Hadoop 2.0产生背景 Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性 MapReduce存在的问题 JobTracker访问压力大，影响系统 阅读全文

posted @ 2017-07-27 23:42 嘣嘣嚓 阅读(498) 评论(0) 推荐(0)

HDFS简介
摘要：1.HDFS介绍 HDFS 为了做到可靠性( reliability ) 创建了多份数据块（data blocks）的复制（replicas） ，并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。 1.1.HDFS结构 Nam 阅读全文

posted @ 2017-07-18 23:45 嘣嘣嚓 阅读(508) 评论(0) 推荐(0)

Exception in thread "main" java.io.IOException: Mkdirs failed to create /var/folders/q0/1wg8sw1x0dg08cmm5m59sy8r0000gn/T/hadoop-unjar6090005653875084137/META-INF/license at org.apache.hadoop.util.Run
摘要：在使用hadoop运行jar时出现。 解决方法 完美解决。 阅读全文

posted @ 2017-07-05 17:12 嘣嘣嚓 阅读(1062) 评论(0) 推荐(0)

导航