500TB——Facebook每天收集的数据量
摘要:
InfoQ在2010年的时候曾经发布过一篇新闻《Facebook谈 Hadoop、Hive、HBase和 A/B测试》,时任Facebook的工程副总Mike Schroepfer曾谈到当时Facebook的数据量产生情况:Facebook有4亿用户,超过一半的用户每天登录用户花在Facebook上的时间,比接近它的6个站点所花的时间的总和还多Facebook用户每个月分享250亿的内容信息5000亿单月页面浏览量要处理这样的数据,Facebook使用了大型的Hadoop集群:存储36PB未压缩的数据有超过2250台机器和23000个核心每个机器32GB内存每天处理80-90TB数据该集群每个 阅读全文
posted @ 2012-08-29 17:53 codestyle 阅读(1296) 评论(0) 推荐(0)