摘要: 是为了防止url不可访问,或者响应速度太慢而造成的时间浪费。比如,你要爬取1000个网站,如果有100个需要30s才能返回数据,你等待他们返回的话就需要3000s了,如果你设置10s超时,那么就能知道最长需要多久1000个可以爬完。1、调用test函数超时监控,使用sleep模拟函数执行超时2、引入... 阅读全文
posted @ 2015-12-14 05:21 宝哥大数据 阅读(3516) 评论(0) 推荐(0)