网络爬虫：采用“负载均衡”策略来优化网络爬虫
摘要：
前言： 这里说的负载均衡并非大家熟悉的网络中的负载均衡。 只是这里我使用了和负载均衡同样的一种思维来优化程序罢了，其实就是压力分摊。 问题描述： 对于上一篇《分离生产者和消费者来优化爬虫程序》博客中遗留的问题：线程阻塞。 当我们的程序运行到一定时间之后，会出现线程池中的500... 阅读全文
posted @ 2015-08-24 18:44 王峰炬 阅读(392) 评论(0) 推荐(0)
posted @ 2015-08-24 18:44 王峰炬 阅读(392) 评论(0) 推荐(0)
浙公网安备 33010602011771号