2013年5月10日

(转)(HttpClient超时机制)timeout调度算法探讨

摘要： HttpClient提供的超时设置只能设置等待连接的超时和读取超时。而我在做的一个爬虫出现这样的情况——倘若服务器返回一个“庞然大物”，一个线程将在这上面耗费大量时间。而之后又有“庞然大物”来，又有线程“陷”进去了。一个又一个，最后爬虫就瘫痪了。而我处理的办法是采用gzip和设置request的超时。关于gzip，在httpclient的example中有例程，而关于设置request的超时，一直没想到好的方案，最后在下面的文章中找到了。 阅读全文

posted @ 2013-05-10 23:48 我是一只猫 阅读(971) 评论(0) 推荐(0)

导航