Q1Zhen - 博客园

2020年4月19日

摘要：在pom.xml中添加如下配置 1 <build> 2 <plugins> 3 <plugin> 4 <groupId>org.apache.maven.plugins</groupId> 5 <artifactId>maven-jar-plugin</artifactId> 6 <configur 阅读全文

posted @ 2020-04-19 17:56 Q1Zhen 阅读(666) 评论(0) 推荐(0)

自定义Writable

摘要： 1.hadoop默认提供Writable int -- IntWritable long -- LongWritable String -- Text null -- NullWritable double -- DoubleWritable float -- FloatWritable boole 阅读全文

posted @ 2020-04-19 17:52 Q1Zhen 阅读(264) 评论(0) 推荐(0)

Job作业运行流程

摘要： job五大阶段 InputFormat 1.InputFormat --> FileInputFormat --> TextInputFormat 重点：DBInputFormat、KeyValueInputFormat、TextInputFormat 为每个job作业验证hdfs上数据（数据是否存阅读全文

posted @ 2020-04-19 17:28 Q1Zhen 阅读(300) 评论(0) 推荐(0)

2020年4月18日

MapReduce历史服务器

摘要：作用保存执行job任务节点的执行日志将多个节点执行map任务的日志和最终reduce日志聚合在一起在mapred-site.xml中添加配置 1 <property> 2 <name>mapreduce.jobhistory.address</name> 3 <value>hostname:1 阅读全文

posted @ 2020-04-18 15:19 Q1Zhen 阅读(292) 评论(0) 推荐(0)

NameNode和SecondaryNameNode

摘要：如何对NameNode中数据持久化 FsImage：保存NameNode当前这一时刻数据状态 Editslog：日志文件，只记录client到hdfs写操作（二进制文件） Editslog和FsImage会定期合并，这项任务由SecondNameNode执行，当在合并的时候，客户端执行的写操作不再写阅读全文

posted @ 2020-04-18 11:06 Q1Zhen 阅读(164) 评论(0) 推荐(0)

2020年4月17日

MapReduce入门

摘要： Yarn（统一资源调度器，任务监控管理器）整合hadoop集群中资源（cpu，内存等）进行统一调度监控map和reduce的执行状况 ResourceManager（master，负责整合资源调度） NodeManager（slave，负责计算）关键配置 yarn-site.xml 1 <pr 阅读全文

posted @ 2020-04-17 21:49 Q1Zhen 阅读(152) 评论(0) 推荐(0)

ZooKeeper实现HA HDFS

摘要：单节点NameNode存在问题： NameNode宕机，metadata数据消失；单节点出现故障，如何进行故障转移？如果增加一个NameNode节点，会出现脑裂问题（一个集群有多个管理者），如何解决？ ZK搭建高可用（HA High Aliavble）HDFS集群 QJM（Quorum Jour 阅读全文

posted @ 2020-04-17 19:39 Q1Zhen 阅读(409) 评论(0) 推荐(0)

2020年4月15日

hdfs临时文件更改

摘要： 1.hadoop中默认是将数据放在系统的临时目录/tmp/hadoop_root文件中，是一个临时文件，可能会导致数据不安全。因此最好是修改其位置。在core-site.xml中修改，要提前创建好data文件，配置完成后删除原来的临时文件，重新格式化。 2.指定namenode和datanode的阅读全文

posted @ 2020-04-15 16:46 Q1Zhen 阅读(656) 评论(0) 推荐(0)

linux中没有tree命令，command not found，解决办法

摘要：在有网络的情况下： 1、包管理器安装 centos 中用 yum -y install tree ubuntu 中用 apt-get install tree 当然如果需要权限不要忘了在前面加上 sudo 2、源码编译安装 wget ftp://mama.indstate.edu/linux/tre 阅读全文

posted @ 2020-04-15 16:20 Q1Zhen 阅读(799) 评论(0) 推荐(0)

Hadoop伪集群搭建环境

摘要： HDFS集群： NameNode：整个HDFS集群的管理者，不存储文件数据，只记录文件“元数据” 信息 DataNode：用来存储数据的节点 Block：数据块，由NameNode对数据文件进行切分的最小单元（Hadoop 2.x和1.x中默认128M，Hadoop 3.x中默认为64M） Repl 阅读全文

posted @ 2020-04-15 12:00 Q1Zhen 阅读(164) 评论(0) 推荐(0)

QZhen

公告