• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
返回主页

执生

  • 博客园
  • 首页
  • 新随笔
  • 联系
  • 订阅
  • 管理

Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览

一.设计原理

  1.Hadoop架构: 流水线(PipeLine)  

  2.Hadoop架构: HDFS中数据块的状态及其切换过程,GS与BGS

  3.Hadoop架构: 关于Recovery (Lease Recovery , Block Recovery, PipeLine Recovery)

二.源码详解

  1. Hadoop3.1.1源码Client详解 : 写入准备-RPC调用与流的建立

  2. Hadoop3.1.1源码Client详解 : 入队前数据写入

  3. 入队后消息系统运作

    1.Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 主干 

      1.Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 处理异常

      2.Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 流水线架设 : 流水线恢复/append  

      3.Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 流水线架设 : 创建块

    2.Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之ResponseProcessor(ACK接收)

posted @ 2020-02-20 23:53  执生  阅读(1345)  评论(1)    收藏  举报
刷新页面返回顶部

公告

博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3