node-并发控制

当我们在做一些爬虫小程序的时候,如果我们一次性爬的数据条较多,那么相关软件也许会有限制或者是认为我们是非法的。那么我们就需要一些机制去限制获取数据的条数。而且node为我们提供的并发获取数据都是异步的。

  • eventproxy控制并发
    思路:
  1. 先var ep = new eventproxy();得到一个实例;

  2. 告诉他们你要监听的时间,并给它一个回调函数,ep.all('event1', 'event2', function (result1, result2) {});

  3. 在适当的时候ep.emit('event_name', eventData);

     	ep.all('data1_event', 'data2_event', 'data3_event', function(data1, data2, data3){
     	    //监听三个事件,每当一个源数据抓取完成时,就通过emit来告诉ep自己
     	    var html = fuck(data1, data2, data3);
     	    render(html);
     	});
     	
     	$.get('http://data1_source', function(data){
     	    ep.emit('data1_event', data);
     	});
     	
     	$.get('http://data2_source', function(data){
     	    ep.emit('data2_event', data);
     	});
     	
     	$.get('http://data3_source', function(data){
     	    ep.emit('data3_event', data);
     	});
    
  • async控制并发
    主要是使用到了async模块的mapUrl(arr, limit, iterator, callback)接口;

      async.mapLimit(urls, 5, function(url, callback){
        //
      }, function(err, result){
        //
      });
    
posted @ 2017-08-19 21:04  美美王子  阅读(214)  评论(0编辑  收藏  举报