2018年11月4日
Node爬虫之——使用async.mapLimit控制请求并发
摘要： 一般我们在写爬虫的时候，很多网站会因为你并发请求数太多当做是在恶意请求，封掉你的IP，为了防止这种情况的发生，我们一般会在代码里控制并发请求数，Node里面一般借助async模块来实现。 1. async.mapLimit方法 mapLimit(arr, limit, iterator, callb 阅读全文
posted @ 2018-11-04 16:48 Kwin的全栈之路 阅读(4138) 评论(1) 推荐(0) 编辑