madec

摘要： MongoDB是针对文档的分布式数据库系统 阅读全文

摘要： 不要把他们混为一谈，各有各的好处。cassandra更适合实时和交互，而且简单，而建立在Hadoop基础上的Hbase更适合大批量的数据仓库和后台分析。cassandra虽然性能好的多，但是对于复杂的应用和更大规模的数据，它就不行了，例如对MR支持的就不如Hbase好。那么，是基于Hbase呢，还是cassandra。当然cassandra有他的好处，如果能把它的有点用到hbase上也好，Hbase上的还是有用的。当然cassandra的很多技术也值得学习，例如gossip（完全对等的p2p），是Master/Slave所不具有的，哪种好呢？还要看需求。http://article.yeeya 阅读全文

摘要： 云存储，bigdata，NoSQL，Key-Value，Bigtable，Hbase....等新名词不断铺面而来，刚开始接触这些新概念往往都把它们视为一体（看到Hbase我都会把bigtable，NoSQL等词联想起来），不能分清其中的区别。随着了解的不断深入，也逐渐有了一些体会。bigtable讲到数据是有3个index，row key,column key,time stamp。问题在想GSF写的时候SSTable到底是怎么组织的呢，同一个column family在一起（即使不同row），还是同一个row的在一个SSTalbe？看了那么多paper，连这个都没有搞清楚，是他们不写还是我没 阅读全文

摘要： 测试是起点、是终点、是导向。虽然测试处于开发的后面，但其实人应该先知道测试的，特别是改进型的，而不是原创型的。（即使原创，也应该有一个目标才对，否则创什么？）无论是做策略、理论还是做机制，都要证明给别人工作的有效性，而这种证明往往就是比较难的。通常掌握如何评价和测试，是从外面了解一个系统的快速步骤。想要了解一个系统，从功能和外在是一个更好的方式，比理解其中的内部细节要让人感兴趣并且容易多了。所以测试不可不讲，他是目标、动力、和指导。我们做云计算，到底做什么？又有什么可做的？别人都做了什么，做的如何。所以，要先从测试着手，不用问怎么测的，只需要知道测什么，能够测什么就可以了。然后，再看技术细节， 阅读全文

摘要： 时代发展，技术也在变，云计算使得以前只懂开发语言和设计页面的小程序员逐渐长为懂得企业运行特别是技术运行的大系统人才。了解系统不仅仅是为了吹嘘，而是通过了解系统的作用和不足，可以知道现在有什么问题，大家都是怎么解决的，有哪些解决不了或者不好。这叫把握现状。如果觉得着太多不好把握，但总比看什么小说要好玩的多吧。拿着看小说的心态心情来看待这些，毕竟这也是比较有意思的，能理解的。仅仅关注一些本质技术和概念已经不行，如果像走的新走的深，还是要深入下去，与各种应用挂钩，仅仅只懂核心的那一点是走不远的，以为那是核心其实那是山脚，要想走自己的山头还是要从山脚开始，站在别人的山头上又有什么意思？云计算公司和互联 阅读全文

摘要： 最近一段时间一直在看论文，可是还是找不到感觉也找不到问题，曾经和搭建过研究的系统，可没有什么东西在上面跑，又不想跑无用的东西（想跑有用的东西以证明价值），但是哪里找到有用的呢，真正online的人家也不敢在我们的半成品上跑。于是，发现自己做什么都想追求点实际效益是有点过于完美了。测试，就相当于物理学家们的实验，怎么能因为没有直接的效益就否定它的价值而不愿意去做呢，不做又怎么能深入研究、发现问题，找出创新呢。最近关注海量数据处理方面的，最流行的平台应该是Hadoop以及一系列NoSQL数据库了，何不把他们搭建起来，做一番测试呢，有没有问题跑了再说。真的去做了才发现测试是挺麻烦的一件事情，关涉的内 阅读全文

摘要： 科学工作流相比较社会商业流还是简单一些的，现在好多软件都在提供企业的管理流系统，比较不错。松散耦合有好处，但是也有性能不好的，无用操作多的坏处。kepler系统等跟storm又有什么区别，可重复性，著作权问题，难道商业流不需要这些？http://hi.baidu.com/qiubaiwei/blog/item/5c10b7d29d85f5d7a8ec9a19.html科学计算流和商业业务流的区别。http://blog.csdn.net/caotiancool/article/details/2055877 阅读全文

摘要： 你喜欢用哪个，哪个更好？目前的观点是VMM的资源消耗太大，还是需要container更划算一些。根据OpenVZ网站的说法，使用OpenVZ与使用独立的服务器相比，性能只会有1-3%的损失。OpenVZ是SWsoft, Inc.公司开发的专有软件Virtuozzo的基础。OpenVZ的授权为GPLv2。OpenVZ由两部分组成，一个经修改过的操作系统核心与及用户工具。openvz是否只适合做VPS，装在其上的软件或平台是不是需要特殊的适配，能否装MapRecude,Hadoop之类的东东？还是仅仅只能做一些web服务器？想要搭建一个IaaS和PaaS，是直接在OS上做Hadoop呢，还是想Am 阅读全文