网络爬虫：分离生产者和消费者来优化爬虫程序
摘要：
问题描述： 基于前面的一些工作（可点击这里参见笔者前面的相关博客），我们取得了一些成果。不过存在的问题又总是会让人坐立不安。本文通过分离生产者、消费者以及引入连接池技术来优化爬虫程序。解决前面说到的数据库连接数过大、程序长时间运行OOM的情况。 思路分析： 1.结构设计图： 2.思... 阅读全文
posted @ 2015-08-21 16:52 王峰炬 阅读(326) 评论(0) 推荐(0)
浙公网安备 33010602011771号