• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 众包
  • 赞助商
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录

子把瓢总

  • 博客园
  • 联系
  • 订阅
  • 管理

公告

View Post

踏着前人的脚印学Hadoop——结构、重点

HDFS作为一个分布式文件系统,是所有这些项目的基础。分析好HDFS,有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目,我们就把他们放在一块,进行分析。

如果把整个hadoop当做一个java中的类的话,那么HDFS就是这个类的静态变量,其他的项目是hadoop中的方法。

hdfs

HDFS,Hadoop的分布式文件系统实现

文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口

fs

文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口

ipc

一个简单的IPC的实现,依赖于io提供的编解码功能

参考:http://zhangyu8374.javaeye.com/blog/86306

io

表示层。将各种数据编码/解码,方便于在网络上传输

mapreduce

Hadoop的Map/Reduce实现

filecache

提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度

ipc

一个简单的IPC的实现,依赖于io提供的编解码功能

参考:http://zhangyu8374.javaeye.com/blog/86306

io

表示层。将各种数据编码/解码,方便于在网络上传输

 

 

image

posted on 2014-12-31 22:01  子把瓢总  阅读(215)  评论(0)    收藏  举报

刷新页面返回顶部
 
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3