Socket网络编程--网络爬虫(4)

　　上一小节我们已经实现了获取博客园最近博客的200页里面的用户名，并保存在一个map中。一开始是想通过这个用户名然后构造一个博客地址。然后在这个地址中查找心得用户名，但是后来发现这个的效率不是很高，虽然部分博客会引用别人的博客，也有机率会留有原博客的地址，这样我们可以爬取的到新的用户名。效率是不高。最后我发现博客园的关注和粉丝这个功能用于查找心得用户名很管用。只要该用户在博客园活跃过一段时间就或多或少会有粉丝或关注过某人。(不是有个说法:通过7个人能认识世界上任意一个人)所以这种做法应该是可行的。下面送上一张一开始就画好的框架。有些可能最后的实现跟图中不是很相同。

　　理论上这样是可以获取得到，但是在实践的时候才知道，原来没有登录的用户是访问不了别人的粉丝和关注，没想到这个美好的想法就这样没了。这可怎么办呢？(如果有知道的还请告诉我呀。)

　　由于种种原因，最后是实现不了这种循环爬取的效果了。都怪写之前没有好好试验一下，也可能是可以完成，只是自己太弱的原因了。只能提供几个可以获取的用户名的地址。因为达不到那种迭代的效果我就不写。真是太不好意思了。(http://www.cnblogs.com/cate/all/1 ~ http://www.cnblogs.com/cate/all/200、http://www.cnblogs.com/comment/1 ~ http://www.cnblogs.com/comment/200)

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <unistd.h>
#include <netdb.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <regex.h>//正则表达式
#include <map>
#include <queue>
#include <string>
#include <iostream>

using namespace std;
#define BUF_SIZE 512

struct URL
{
    char host[64];
    char url[128];//除去域名后的url
};
int reptile_regex(char * buf,char *pattern,map<string,int> & user);
int createSocket(char *hostname,int port);
int closeSocket(int sockfd);
int sendHttpRequest(int sockfd,struct URL url);
int recvHttpRespond(int sockfd,char *ch);
int reptile_regex_url(char * buf,char *pattern,map<string,int> & user,queue<string> & qstr,int start);


int main(int argc,char *argv[])
{
    int sockfd;
    char ch[100000];//100k
    char pattern_user[128]={0};
    char pattern_url[128]={0};
    struct URL url;
    string str;
    map<string,int> user;//第一个是用户名，第二个保存被加入的次数
    queue<struct URL> qurl;
    queue<string> qstr;

    //http://www.cnblogs.com/sitehome/p/1 - 200 //最新博客的200篇
    //初始化用户名
    for(int i=1;i<=200;++i)
    {
        strcpy(url.host,"www.cnblogs.com");
        strcpy(url.url,"/sitehome/p/");
        char pch[8];
        sprintf(pch,"%d",i);
        strcat(url.url,pch);
        strcat(url.url,"/");
        cout<<"当前正在判断:"<<url.host<<url.url<<endl;
        sockfd=createSocket(url.host,80);
        sendHttpRequest(sockfd,url);
        recvHttpRespond(sockfd,ch);
        strcpy(pattern_user,"http://www.cnblogs.com/[[:alnum:][:cntrl:]\\-\\_]*");
        reptile_regex_url(ch,pattern_user,user,qstr,23);

        closeSocket(sockfd);
    }
    //一开始以为是只要创建一次socket然后每次都可以进行send&recv的。但是后来测试好像不行，每次都要进行一次socket的创建
    while(1)
    {
        while(!qstr.empty())
        {
            //构造用户的粉丝地址和关注地址
            strcpy(url.host,"home.cnblogs.com");
            strcpy(url.url,"/u/");
            strcat(url.url,qstr.front().c_str());
            qurl.push(url);//加入粉丝/关注地址
            cout<<"粉丝/关注地址:"<<url.host<<url.url<<endl;
            qstr.pop();
        }
        while(!qurl.empty())
        {
            url=qurl.front();
            qurl.pop();
            cout<<"现在正在判断:";
            cout<<url.host<<url.url<<endl;
            //将获取到的地址进行再次获取用户名
            sockfd=createSocket(url.host,80);
            sendHttpRequest(sockfd,url);
            recvHttpRespond(sockfd,ch);
            //查看源代码发现地址居然不是想象中的http://home.cnblogs.com/u/用户名,而是/u/用户名
            strcpy(pattern_user,"/u/[[:alnum:][:cntrl:]\\-\\_]*");
            reptile_regex_url(ch,pattern_user,user,qstr,3);
            closeSocket(sockfd);
        }
    }
    return 0;
}


//第一个参数是要匹配的字符串，第二个参数是匹配的规则
int reptile_regex_url(char * buf,char *pattern,map<string,int> & user,queue<string> & qstr,int start)
{
    size_t nmatch=10;
    regmatch_t pm[10];
    regex_t reg;//正则表达式指针
    char * str;
    char ch[32];
    int i,j,k;
    str=buf;
    regcomp(&reg,pattern,REG_EXTENDED);//编译匹配模式
    while(regexec(&reg,str,nmatch,pm,0)!=REG_NOMATCH)
    {
        i=pm[0].rm_so+start;
        k=0;
        memset(ch,0,sizeof(ch));
        for(j=i;j<pm[0].rm_eo;++j)
        {
            if(str[j]!=0x01) //ctrl-v ctrl-a
            {
                ch[k++]=str[j];
            }
        }
        string st(ch);
        if(user[st]==0)
        {
            cout<<"新加入的用户名:"<<st<<endl;
            qstr.push(st);
        }
        user[st]++;
        str=str+pm[0].rm_eo;
    }
    regfree(&reg);
    return 0;
}

int closeSocket(int sockfd)
{
    close(sockfd);
    return 0;
}

int createSocket(char *hostname,int port)
{
    struct sockaddr_in servAddr;
    struct hostent * host;
    int sockfd;
    host=gethostbyname(hostname);
    if(host==NULL)
    {
        perror("dns 解析失败");
    }
    servAddr.sin_family=AF_INET;
    servAddr.sin_addr=*((struct in_addr *)host->h_addr);
    servAddr.sin_port=htons(port);
    bzero(&(servAddr.sin_zero),8);

    sockfd=socket(AF_INET,SOCK_STREAM,0);
    if(sockfd==-1)
    {
        perror("socket 创建失败");
    }

    if(connect(sockfd,(struct sockaddr *)&servAddr,sizeof(struct sockaddr_in))==-1)
    {
        perror("connect 失败");
    }
    return sockfd;
}

int sendHttpRequest(int sockfd,struct URL url)
{
    char sendBuf[BUF_SIZE];
    int sendSize;
    //构建一个http请求
    sprintf(sendBuf,"GET %s HTTP/1.1 \r\nHost: %s \r\nConnection: Close \r\n\r\n",url.url,url.host);
    printf("%s\n",sendBuf);
    if((sendSize=send(sockfd,sendBuf,BUF_SIZE,0))==-1)
    {
        perror("send 失败");
    }
    return 0;
}

int recvHttpRespond(int sockfd,char *ch)
{
    char recvBuf[BUF_SIZE];
    int recvSize;
    //获取http应答信息
    memset(recvBuf,0,sizeof(recvBuf));
    memset(ch,0,sizeof(ch));
    while(recvSize=recv(sockfd,recvBuf,BUF_SIZE,0)>0)
    {
        recvBuf[recvSize-2]=0;
        strcat(ch,recvBuf);
        memset(recvBuf,0,sizeof(recvBuf));
    }
    return 0;
}

 

 

　　========2014年9月2日更新===========

　　今天找到一个解决的办法了。原来是使用cookie来解决，就是在一个请求头Header中增加一个Cookie端，具体的实现思路可以参考这篇博客: http://www.cnblogs.com/fengfenggirl/p/zhihu_shenhuifu.html 在这里先记录下来，下次如果要实现就可以参照这个思路了。

 

　　本文地址: http://www.cnblogs.com/wunaozai/p/3903545.html