爬虫

用node.js写爬虫，先说一下需求：昨天突然想看电影，于是逛了一下电影天堂，发现里面有不少新的电影的下载链接，如下图：

如上两张图所示，主页的链接里面进详情页，里面有迅雷的下载链接，于是我就想能不能将最新的电影的电影名，描述，还有下载链接一下从网站扒下来，

这样就可以每次想看电影的时候不要一个一个点。

好了，开始说技术。

什么是爬虫：

我觉得用最简单的话来说：就是把你手动打开窗口，输入数据等等操作用程序代替。用程序替你获取你想要的信息。

方法一

node.js里面有一个内置模块：http模块,可以发送get请求：

http.get(url, function(res){}）  url就是你要访问的链接，我们可以通过http的这个模块可以帮你访问你想访问的网页，于是乎，要是能通过他获取到整个网页的源代码然后再经过一系列的操作不就能得到所要的到数据，ok话不多说，开干：

 

1.  
   var http=require('http');
2.  
   http.get('http://www.loldytt.com/Dongzuodianying/WKC/',function(res){
3.  
   var length=0;
4.  
   var arr=[];
5.  
   res.on("data",function(chunk){
6.  
   arr.push(chunk);
7.  
   length+=chunk.length;
8.  
   });
9.  
   res.on("end",function(){
10.  
    var data=Buffer.concat(arr,length);
11.  
    console.log(data.toString());
12.  
    })
13.  
    });

这个时候我们输出结果的结果就是网页的html代码,如下图
我们可以看到代码中为中文的字符为乱码，所以我们就需要进行转码，node.js内置模块是没有转码工具的，这个时候我们就要用第三方中间件iconv-lite（windows），iconv（ios）来进行转码，转码后代码如下图:

 

 

1.  
   var http=require('http');
2.  
   var iconv = require('iconv-lite');
3.  
   http.get('http://www.loldytt.com/Dongzuodianying/WKC/',function(res){
4.  
   var length=0;
5.  
   var arr=[];
6.  
   res.on("data",function(chunk){
7.  
   arr.push(chunk);
8.  
   length+=chunk.length;
9.  
   });
10.  
    res.on("end",function(){
11.  
    var data=Buffer.concat(arr,length);
12.  
    var change_data = iconv.decode(data,'gb2312');
13.  
    console.log(change_data .toString());
14.  
    })
15.  
    });

这个时候我们再跑一遍,
你会发现乱码的html代码正常了,这都归功于我们的一句代码var change_data = iconv.decode(data,'gb2312'); 这个时候可能你会奇怪我怎么知道这个页面的编码是gbk，还是gb2312还是utf-8，这个可以在代码的头部去观察，如下图

 

charset等于的就是该网页的编码，ok，这个时候我们终于获取了网页的全部内容，那么我们怎么才能获取到想要的数据呢，这个时候就不得不提一个第三方中间件：cheerio，它可以从一坨html的片断中构建DOM结构，然后提供像jquery一样的css选择器查询。请注意是能向jquery一样，这样通过jquery的选择器我们就能方便的获取我们想要的数据:代码如下：

 

1.  
   var http=require('http');
2.  
   var iconv = require('iconv-lite');
3.  
   var cheerio = require('cheerio');
4.  
   http.get('http://www.loldytt.com/Dongzuodianying/WKC/',function(res){
5.  
   var length=0;
6.  
   var arr=[];
7.  
   res.on("data",function(chunk){
8.  
   arr.push(chunk);
9.  
   length+=chunk.length;
10.  
    });
11.  
    res.on("end",function(){
12.  
    var data=Buffer.concat(arr,length);
13.  
    var change_data = iconv.decode(data,'gb2312');
14.  
    var $=cheerio.load(change_data.toString());
15.  
    console.log($('.lm a').text());
16.  
    })
17.  
    });

var $=cheerio.load(change_data.toString());是初始化插件，将string的代码串变成dom结构，我们通过F12可以得到网页电影名称是：

 

所以通过$('.lm a').text()我们就获取到了网页的名字，是不是好简单又好神奇。

方法二：

但是说http模块有些缺陷，就是他不能读取https，通过ssl加密的网页，这个时候我们就可以同第三方中间件request模块

代码如下，ok就不多说了直接上代码：

 

1.  
   var request=require('request');
2.  
   var iconv = require('iconv-lite');
3.  
   var cheerio = require('cheerio');
4.  
   request.get({url:'http://www.loldytt.com/Dongzuodianying/WKC/',encoding:null},function(err,response,body){
5.  
   var buf = iconv.decode(body, 'gb2312');
6.  
   var $=cheerio.load(buf);
7.  
   console.log($('.lm a').text());
8.  
   });

至此，简单爬虫就写完了，是不是好简单，最后再上我扒最新电影的代码，也就多加了几层调用，两种方法我都用了，代码如下图所示：

 

 

1.  
   var http = require("http");
2.  
   var iconv = require('iconv-lite');
3.  
   var cheerio = require('cheerio');
4.  
   var Stream = require('stream');
5.  
   var request=require('request');
6.  
   var fs = require('fs');
7.  
   var url = 'http://www.loldytt.com/Kehuandianying/';
8.  
   var path=require('path');
9.  
   var number=0;
10.  
    var init_number=5497114;
11.  
    var flag=0;
12.  
     
13.  
    //getData(url);
14.  
     
15.  
    request.get({url:url,encoding:null},function(err,response,body){
16.  
    var buf = iconv.decode(body, 'gb2312');
17.  
    var $=cheerio.load(buf);
18.  
    $('.new_nav a').each(function(index, el) {
19.  
    if(index!=0){
20.  
    getData($(this).attr('href'));
21.  
    }
22.  
    });
23.  
    });
24.  
     
25.  
    function getData(url){
26.  
    http.get(url, function(res){
27.  
    var arrBuf = [];
28.  
    var bufLength = 0;
29.  
    res.on("data", function(chunk){
30.  
    arrBuf.push(chunk);
31.  
    bufLength += chunk.length;
32.  
    // console.log(1);
33.  
    })
34.  
    .on("end", function(){
35.  
    var chunkAll = Buffer.concat(arrBuf, bufLength);
36.  
    var strJson = iconv.decode(chunkAll,'gb2312');
37.  
    var $=cheerio.load(strJson);
38.  
    var arr=[];
39.  
    $('.gengxin a').each(function(index, el) {
40.  
    if(index!=0)
41.  
    {
42.  
    request.get({url:$(this).attr('href'),encoding:null},function(err,response,body){
43.  
    var buf = iconv.decode(body, 'gb2312');
44.  
    var $=cheerio.load(buf);
45.  
    //request($('.vipicbg').attr('src')).pipe(fs.createWriteStream('./images/'+flag+''+index+'.jpg'));
46.  
    var movie_description='电影描述: '+$('.neirong p').text();
47.  
    var movie_url='下载链接: '+$('#jishu #li1_0 a').attr('href');
48.  
    var movie_name='电影名称: '+$('.lm a').text();
49.  
    var total_movie='\n'+movie_name+'\n'+movie_description+'\n'+movie_url+'\n';
50.  
    //var ws=fs.createWriteStream(path.join(__dirname,'./txt','first.txt'));
51.  
    var buff=new Buffer(total_movie);
52.  
    fs.appendFile(path.join(__dirname,'./txt','first.txt'),buff,function(){
53.  
    console.log('写入完毕');
54.  
    });
55.  
    });
56.  
    }
57.  
    });
58.  
    flag++;
59.  
    });
60.  
    });
61.  
    }

再附最后通过爬虫得到的数据（部分）：

 

ok，爬虫就介绍完了，接下来我打算写一张node.js建一个blog系统，涉及node.js mysql jade的一些实战介绍，希望喜欢的朋友可以关注我一下。