2020年11月22日

HA配置
摘要： 1.复制hadoop文件到目录ha cp -r zookeeper-3.4.10/ ha 2.修改配置文件：core-site.xml <configuration> <!--把两个Namenode地址组装成一个集群mycluster--> <property> <name>fs.defaultFS 阅读全文
posted @ 2020-11-22 19:20 happygril3 阅读(216) 评论(0) 推荐(0)
zookeeper集群部署
摘要： 1.下载zookeeper-3.4.10.tar.gz 2.压缩zookeeper-3.4.10.tar.gz 3.删除文件 rm -r data logs 4.创建目录 mkdir zkData /opt/module/zookeeper-3.4.10/zkData 5.修改配置文件 zookee 阅读全文
posted @ 2020-11-22 16:09 happygril3 阅读(84) 评论(0) 推荐(0)
HA工作原理
摘要： 1.Hadoop HA简介及工作原理 Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用的。 1.1 Hadoop HA简介 Hadoop-HA集群运作机制介绍 HA即高可用（7*24小时不中断服务） 实现高可用最关键的是消除单点 阅读全文
posted @ 2020-11-22 14:36 happygril3 阅读(726) 评论(0) 推荐(0)
mapreduce2
摘要： 1.输入数据接口：InputFormat （1）Text:文件按照行划分，key就是这一行在文件中的偏移量，value就是这一行文本 （2）FiexedLength：读取输入文件的固定长度的记录，这种文件不该是文本文件，二进制文件比较多 （3）KeyValue：文件按照行分割，按分隔符把一行数据切割 阅读全文
posted @ 2020-11-22 12:17 happygril3 阅读(82) 评论(0) 推荐(0)
计数器
摘要： package com.atguigu.etl; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; impo 阅读全文
posted @ 2020-11-22 11:33 happygril3 阅读(80) 评论(0) 推荐(0)
MapJoin
摘要： Mapjoin1.适用于一张表十分小（小于15M,HIVE[25M]），一张表很大得场景2.map端完成join，不需要reduce，不需要shuffer（分组全排序），不需要数据倾斜 package com.atguigu.mapJoin; import org.apache.hadoop.con 阅读全文
posted @ 2020-11-22 11:01 happygril3 阅读(260) 评论(0) 推荐(0)

导航