摘要：
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 紧接着上一篇文章: Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 主干 本文均是对DataStreamer的proce 阅读全文
posted @ 2020-02-22 19:23
执生
阅读(344)
评论(0)
推荐(0)
摘要：
一.设计原理 1.Hadoop架构: 流水线(PipeLine) 2.Hadoop架构: HDFS中数据块的状态及其切换过程，GS与BGS 3.Hadoop架构: 关于Recovery (Lease Recovery , Block Recovery, PipeLine Recovery) 二.源码 阅读全文
posted @ 2020-02-20 23:53
执生
阅读(1353)
评论(1)
推荐(0)
摘要：
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 紧接着上一篇文章: Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 主干 橙色框：新建块时的流水线架设 本身这个方法只是 阅读全文
posted @ 2020-02-20 23:48
执生
阅读(428)
评论(0)
推荐(0)
摘要：
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 紧接着上一篇文章: Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 主干 ResponseProcessor是DataS 阅读全文
posted @ 2020-02-20 23:46
执生
阅读(637)
评论(0)
推荐(0)
摘要：
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 紧接着上一篇文章: Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 主干 接着我们要介绍第二种情况的流水线架设。也就是流 阅读全文
posted @ 2020-02-20 23:44
执生
阅读(335)
评论(0)
推荐(0)
摘要：
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 紧接着上一篇: Hadoop3.1.1源码Client详解 : 写入准备-RPC调用与流的建立 先给出数据写入时的3个主要载体 载体1是我们实际要写入HDFS的数据，一般是字节数组 载体2是一个字节数组 阅读全文
posted @ 2020-02-20 23:40
执生
阅读(600)
评论(0)
推荐(1)
摘要：
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 关于RPC(Remote Procedure Call)，如果没有概念，可以参考一下RMI(Remote Method Invocation)。 简言之，是一种对网络传输细节进行封装，并且对用户暴露被代 阅读全文
posted @ 2020-02-20 23:39
执生
阅读(578)
评论(0)
推荐(0)
摘要：
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 在HDFS中，有三种Recovery 1.Lease Recovery 2.Block Recovery 3.PipeLine Recovery 以下将 一 一 讲解。 一.Lease Recovery 阅读全文
posted @ 2020-02-20 23:37
执生
阅读(2020)
评论(2)
推荐(0)
摘要：
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 首先，我们要提出HDFS存储特点： 1.高容错 2.一个文件被切成块(新版本默认128MB一个块)在不同的DataNode存储 3.客户端通过流水线，在NameNode的调节下，将数据以Packet的形 阅读全文
posted @ 2020-02-20 23:25
执生
阅读(1783)
评论(0)
推荐(0)
摘要：
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 流水线(PipeLine)，简单地理解就是客户端向DataNode传输数据(Packet)和接收DataNode回复(ACK)[Acknowledge]的数据通路。 整条流水线由若干个DataNode串 阅读全文
posted @ 2020-02-20 23:24
执生
阅读(2815)
评论(2)
推荐(1)
浙公网安备 33010602011771号