摘要：百度的高性能计算系统(主要是后端数据训练和计算)目前有4000节点，超过10个的集群，最大的集群规模在1000个节点以上。每个节点由8核CPU以及16G内存以及12TB硬盘组成，每天的数据生成量在3PB以上。规划当中的架构将有超过1万个节点，每天的数据生成量在10PB以上。底层的计算资源管理层采用了Agent调度不同类型的计算分别给MPI结构的算法和Map-Reduce和DAG算法应用等。而通过调度的分配，可以让HPC高性能计算集群和大规模分布式集群各得其所的计算相应数据。百度通过HCE对streaming作业的排序，压缩，解压缩，内存控制进行了优化并提供了C++版的MapReduce接口。百 阅读全文

摘要：参看：http://www.yuewe.cn/article-114342-1.html 阅读全文

摘要：为什么自己当初要选择Redis作为数据存储解决方案中的一员呢？现在能想到的原因主要有三。其一，Redis不仅性能高效，而且完全免费。其二，是基于C/C++开发的服务器，这里应该有一定的感情因素吧。最后就是上手容易，操作简单。记得在刚刚接触Redis的时候，由于当时项目的工期相当紧张，留给我们做出选择的空间也是非常有限，一旦技术决策失误，造成的后果也比较严重。所以在做出决定之前，我不仅快速的浏览了Redis官网文档，而且还熬夜搜集了很多网上的相关技术文章。在经过一通折腾之后，毅然决然的选择了它，现在回头想想自己确实是幸运的。 这个系列博客中的内容和数据主要来自于Redis官方文档，本人仅仅是根. 阅读全文

摘要：HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zook 阅读全文