2013年1月5日
摘要:
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
阅读全文
posted @ 2013-01-05 10:19
石头儿
阅读(2275)
推荐(1)
2013年1月4日
摘要:
HDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理,优缺点。
阅读全文
posted @ 2013-01-04 15:20
石头儿
阅读(1003)
推荐(0)
2012年12月19日
摘要:
最近在看《Hadoop:The Definitive Guide》,对其分布式文件系统HDFS的Streaming data access不能理解。基于流的数据读写,太抽象了,什么叫基于流,什么是流?Hadoop是Java语言写的,所以想理解好Hadoop的Streaming Data Access,还得从Java流机制入手。明白了Java流,对Hadoop的Streaming data access也基本该没有问题了。
阅读全文
posted @ 2012-12-19 08:51
石头儿
阅读(88682)
推荐(32)
2012年11月22日
摘要:
ubuntu下eclipse提示框背景色为黑色看起来很不舒服,这是因为eclipse默认使用系统的主题,ubuntu11.10以前的版本可以通过 系统设置>外观>修改主题 自定义颜色来修改。但ubuntu11.10下不再提供直接修改主题的接口,只能修改文件:1 # 其中Ambiance是系统所使用的主题2 cd /usr/share/themes/Ambiance/gtk-2.0/3 sudo gedit gtkrc首先修改只读权限,然后打开编辑,第一行的如下四个属性即为所需修改的部分:#补充一下基础知识,#000000表示黑色,#ffffff表示白色。如果不好记住的话,可以理解值
阅读全文
posted @ 2012-11-22 09:30
石头儿
阅读(443)
推荐(0)
2012年11月16日
摘要:
SpringSource Tools Suite 字体偏小问题
阅读全文
posted @ 2012-11-16 17:10
石头儿
阅读(1132)
推荐(0)
摘要:
Redis 简介 安装 配置 运行
阅读全文
posted @ 2012-11-16 14:32
石头儿
阅读(349)
推荐(0)
2012年11月15日
摘要:
在Eclipse的configuration文件下找到config.ini文件,用写字板打开,在最后面添加上如下代码即可:1. 下面配置是设置SVN插件为英文菜单:#SetSubversionEnglishVersionosgi.nl=en_US 2. 下面配置是摄自SVN插件为中文菜单:#SetSubversionEnglishVersionosgi.nl=zh_CN
阅读全文
posted @ 2012-11-15 13:14
石头儿
阅读(455)
推荐(0)
2012年11月14日
摘要:
这两年Redis火得可以,Redis也常常被当作Memcached的挑战者被提到桌面上来。关于Redis与Memcached的比较更是比比皆是。然而,Redis真的在功能、性能以及内存使用效率上都超越了Memcached吗?
阅读全文
posted @ 2012-11-14 18:16
石头儿
阅读(364)
推荐(0)
2012年11月12日
摘要:
Twitter Storm是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。
Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”(continuous computation),对数据流做连续查询,在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”,以并行的方式运行昂贵的运算。
阅读全文
posted @ 2012-11-12 16:19
石头儿
阅读(4689)
推荐(0)
2012年10月30日
摘要:
Linux性能优化工具dstat安装及命令详解
阅读全文
posted @ 2012-10-30 18:02
石头儿
阅读(688)
推荐(1)