• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 众包
  • 赞助商
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
 






顾小慢的水果篮子

 
 

Powered by 博客园
博客园 | 首页 | 新随笔 | 联系 | 订阅 订阅 | 管理

随笔分类 -  hadoop

 
GFS读书笔记
摘要:1.分布式文件系统的设计要点:容错能力强;支持的数据量大(不用考虑多数目的小文件);文件写入一般采取追加的方式,不支持随机写入 ;跨平台2.详细设计要点:构架于廉价的PC机之上,可以在出现错误时常规地进行错误恢复;主要支持适当数量的大文件,应当支持小文件,但是不必对此作优化;文件读取一般一次读取较大的比特数,随机读写的问题可以次要考虑;支持多个客户端对同一个文件的读写的同步;一次性读写的带宽比读写的延时更重要3.每一个用户的读写操作是原子的;4.主机掌握文件系统的所有元数据,包括文件的名称,存取控制信息,文件在数据结点上的映射和数据结点的位置。也包括数据节点的回收等内容5.块大小:块大小不能太 阅读全文
posted @ 2012-01-04 09:35 顾小慢 阅读(384) 评论(0) 推荐(0)
hadoop安装全过程
摘要:hadoop安装全过程1.下载hadoop-0.20.2,下载地址:http://www.apache.org/dist/hadoop/common/hadoop-0.20.2/2.下载jdk-6u20-linux-i586.bin,下载地址:http://autosetup1.googlecode.com/files/jdk-6u20-linux-i586.bin3.安装jdk:./jdk-6u20-linux-i586.bin4.设置环境变量:在/etc/profile中加入如下语句:JAVA_HOME=java安装路径(如/usr/java)CLASSPATH=.:$JAVA_HOME/ 阅读全文
posted @ 2011-11-17 16:22 顾小慢 阅读(579) 评论(0) 推荐(0)