代码改变世界

关于node爬虫爬取时被限制（爬取电商网站为例）

2017-07-14 14:09 by litao_blogs, 2383 阅读, 0 推荐, 收藏,
摘要：关于node爬虫爬取时被限制 最近写了一个node 爬虫， 于是 就拿某电商网站测试，开启10个线程，间隔时间为2毫秒，开始爬取，前几天很正常，几百条商品数据信息几分钟就爬完了。但是昨天开始该商场就开始限制我的访问了。（不知道是通过ip限制，还是cookie限制），我在网上找了很多方法都没法解决，其 阅读全文