技术选型

1. 爬虫： scrapy + beautifulsoup(lxml) + redis + mongodb， 不过scrapinghub并不建议使用Mongodb，

     http://blog.scrapinghub.com/2013/05/13/mongo-bad-for-scraped-data/， 不知道他们最终用的时什么db

 

2. 状态监控： zabbix，可以方便的自定义监控，和套用各种模板，（如进程数，内存暂用，硬盘占用）

 

3.  网页前端： angluarjs, mvc框架，比jquery的那种操作各种dom节点优雅的多，而且方便人阅读和重用

 

4. 跨平台： phonegap （html5 + js)

 

5. 服务器端，mongooose + nodejs + express， 和前端的angularjs，共同构成mean.io

 

6. 反向代理，nginx足够胜任

 

7. 日志处理：logrotate定期分割大小，python提取内容，多进程，再数据量些，上hadoop, 或者spark(更优，写python 或 scala 比java舒服）

 

8. 语言选择： go，ruby > python > java > php(垃圾）