技术宅,fat-man

增加语言的了解程度可以避免写出愚蠢的代码

导航

2012年8月29日 #

500TB——Facebook每天收集的数据量

摘要: InfoQ在2010年的时候曾经发布过一篇新闻《Facebook谈 Hadoop、Hive、HBase和 A/B测试》,时任Facebook的工程副总Mike Schroepfer曾谈到当时Facebook的数据量产生情况:Facebook有4亿用户,超过一半的用户每天登录用户花在Facebook上的时间,比接近它的6个站点所花的时间的总和还多Facebook用户每个月分享250亿的内容信息5000亿单月页面浏览量要处理这样的数据,Facebook使用了大型的Hadoop集群:存储36PB未压缩的数据有超过2250台机器和23000个核心每个机器32GB内存每天处理80-90TB数据该集群每个 阅读全文

posted @ 2012-08-29 17:53 codestyle 阅读(1296) 评论(0) 推荐(0)

rabbitmq安装

摘要: #安装服务器&启动sudo apt-get install rabbitmq-serversudo service rabbitmq-server restart#安装python客户端apt-cache search amqpsudo apt-get install python-amqplib#如果服务器已经启动再次start会产生错误,必须是restart 阅读全文

posted @ 2012-08-29 13:23 codestyle 阅读(200) 评论(0) 推荐(0)