随笔分类 - Hadoop-HDFS
This category collects blogs that are relevant to the implementations on HDFS.
摘要:阿里飞天平台总架构师唐洪分享了飞天开放平台。 飞天平台特点:同时支持在线和离线应用;安全控制;分布式部署,监控和诊断;无单点故障,可用性99.9%;数据3副本,数据可靠性“10个9”。 阿里飞天平台总架构师唐洪分享了盘古I/O的处理,这样的设计能够支持在高并发压力下高效地满足I/O请求,对发到同一磁盘上的请求进行排序。另外,当同优先级请求来的时候会按照它在磁盘上排列的顺序重新排列,来降低磁盘寻道的开销 。 腾讯数据服务系统整体框架 腾讯数据平台部助理总经理蒋杰分享了腾讯基于分布式消息缓存的流式处理框架图。腾讯数据平台部助理总经理蒋杰透露,腾讯将在12月开源内部的Hadoop平台TW
阅读全文
摘要:The Hadoop Distributed File System has been great in providing a cloud-type file system. It is robust (when administered correctly :-)) and highly scalable. However, one of the main drawbacks of HDFS is that each piece of data is replicated in three places. This is acceptable because disk storage is
阅读全文
摘要:以前在虚拟机上装了伪分布模式下的Hadoop0.20.2,就装了很久才安装上。现在,在集群上有重新部署了一下分布模式,参考虾米的总结:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html非常详尽!
阅读全文
摘要:1. 下载Hadoop源代码Hadoop 各成员源代码下载地址:http://svn.apache.org/repos/asf/hadoop,请使用SVN下载,在SVN浏览器中将trunk目录下的源代码check-out 出来即可。请注意只check-out出SVN 上的tag 目录下的内容,如:http://svn.apache.org/repos/asf/hadoop/common/tag/release-0.20.2,2. 准备编译环境2.1. 系统CentOS5.52.2. Hadoop代码版本hadoop-0.20.2-release2.3. 联网编译Hadoop 会依赖很多第三方库
阅读全文

浙公网安备 33010602011771号