秋华 - 博客园

2020年7月19日

HADOOP MAPREDUCE（9）：MapReduce内核源码解析（2）ReduceTask工作机制

摘要： 1．ReduceTask工作机制 ReduceTask工作机制，如图4-19所示。图4-19 ReduceTask工作机制（1）Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。（2）Merge 阅读全文

posted @ 2020-07-19 20:15 秋华阅读(256) 评论(0) 推荐(0)

HADOOP MAPREDUCE（8）：MapReduce内核源码解析（1）MapTask工作机制

摘要： MapTask工作机制 MapTask工作机制如图4-12所示。图4-12 MapTask工作机制（1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。（2）Map阶段：该节点主要是将解析出的key/value交给阅读全文

posted @ 2020-07-19 20:13 秋华阅读(213) 评论(0) 推荐(0)

HADOOP MAPREDUCE（7）：Shuffle机制（3）

摘要： 7 Combiner合并（6）自定义Combiner实现步骤（a）自定义一个Combiner继承Reducer，重写Reduce方法 public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritabl 阅读全文

posted @ 2020-07-19 19:57 秋华阅读(189) 评论(0) 推荐(0)

HADOOP MAPREDUCE（6）：Shuffle机制（2）

摘要： 4 WritableComparable排序 1．排序的分类 2．自定义排序WritableComparable （1）原理分析 bean对象做为key传输，需要实现WritableComparable接口重写compareTo方法，就可以实现排序。 @Override public int com 阅读全文

posted @ 2020-07-19 19:43 秋华阅读(201) 评论(0) 推荐(0)

2020年7月18日

HADOOP MAPREDUCE（5）：Shuffle机制（1）

摘要： 1 Shuffle机制 Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。如图4-14所示。 2 Partition分区 3 Partition分区案例实操 1．需求将统计结果按照手机归属地不同省份输出到不同文件中（分区）（1）输入数据（2）期望输出数据手机号136、1 阅读全文

posted @ 2020-07-18 22:28 秋华阅读(244) 评论(0) 推荐(0)

HADOOP MAPREDUCE（4）：MapReduce工作流程

摘要： 1．流程示意图，如图4-6，4-7所示图4-6 MapReduce详细工作流程（一）图4-7 MapReduce详细工作流程（二） 2．流程详解上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下： 1）MapT 阅读全文

posted @ 2020-07-18 22:20 秋华阅读(379) 评论(0) 推荐(0)

多台机器shell脚本：jps脚本；启动zookeeper脚本；文件分发脚本

摘要： 1 查看多台机器jps脚本 1）创建vim jpsall atguigu@hadoop102:cd /opt/module/hadoop-2.8.5/bin$ 2） #!/bin/bash for ((host=102;host<105;host++)); do echo hadoop$host s 阅读全文

posted @ 2020-07-18 15:29 秋华阅读(476) 评论(0) 推荐(0)

hadoop 主机名无法访问问题解决汇总

摘要：解决办法1： [root@djt002 hadoop]# vi /etc/selinux/config 改为 SELINUX=disabled 解决办法2：查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好解决办法3：必须阅读全文

posted @ 2020-07-18 14:34 秋华阅读(835) 评论(0) 推荐(0)

Linux 集群时间同步(Ubuntu)

摘要：在配置hadoop集群时，时间同步是必须要做的，否则会出现各种意想不到的问题。 hadoop102 为 ntp server，hadoop103以及hadoop104 为ntp client（即需要同步时间机器） 1.全部机器都要安装ntp以及ntpdate sudo apt-get install 阅读全文

posted @ 2020-07-18 14:31 秋华阅读(1498) 评论(0) 推荐(1)

hadoop集群通过web管理界面只显示一个节点

摘要： hadoop集群通过web管理界面只显示一个节点，但每台机器datanode都启动了 datanode日志; java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Nati 阅读全文

posted @ 2020-07-18 01:04 秋华阅读(2318) 评论(0) 推荐(0)

秋华

公告