人人网爬虫

随着数据量的增大, 千万级数据量, G 级数据规模.

设计不合理的表结构与 SQL 语句, 性能十分低下.

 

对原始数据过滤后, 实行分库存储的策略, 类似 MapReduce.

shadding 之类的数据库技能太弱.

自己写代码分库.

posted @ 2014-10-23 23:09  Jackon Yang  阅读(335)  评论(0编辑  收藏  举报