摘要:
HDFS写数据流程 1、客户端跟NameNode通信请求上传文件,NameNode检查目标文件是否已经存在,父目录是否已经存在 2、NameNode返回是否可以上传 3、客户端先对文件进行切分,对NameNode请求第一个block上传 4、NameNode返回DataNode服务器DataNode 阅读全文
posted @ 2021-06-16 10:22
会飞的鹅
阅读(353)
评论(0)
推荐(0)
摘要:
1.自定义一个实体类用于接收属性数据。 实现Writable, DBWritable接口,实现四个抽象方法 例: public class DataFilter implements Writable, DBWritable { private String day = null; private 阅读全文
posted @ 2021-06-16 10:21
会飞的鹅
阅读(24)
评论(0)
推荐(0)
摘要:
MapReduce工作流程 MapReduce工作流程 Map阶段: 1.首先由客户端把数据进行切片处理,然后提交切片信息给ResourceManager。 2.ResourceManager找到一个NodeManager,由NodeManager创建分析出Maptask数量 3.每个输入分片由一个 阅读全文
posted @ 2021-06-16 10:19
会飞的鹅
阅读(1165)
评论(0)
推荐(0)
摘要:
Read阶段: 首先读取文件,然后对文件进行切片,大小为默认128M,并交给MapTask解析出一个个 K/V键值对 Map阶段: 将解析出来的键值对交给用户编写的业务逻辑执行,处理这些数据,并调用 context.write() Collert收集阶段: context.write处理数据,调用P 阅读全文
posted @ 2021-06-16 10:18
会飞的鹅
阅读(92)
评论(0)
推荐(0)
摘要:
报错信息: java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at /172.23.6.96:9000: Stored protobuf was nameserviceId: "mycluster" na 阅读全文
posted @ 2021-06-16 10:13
会飞的鹅
阅读(312)
评论(0)
推荐(0)

浙公网安备 33010602011771号