用Boost:regex库进行网页分析源代码【转】

经过今天时间对bnoost的学习，特别是对regex 库的熟悉，完成了批量下载的boost.regex版（此前还有字符匹配＋线程类版本，shell版本），功能很强，但如果需要完成具体任务，需要添加不少控制代码（此处略，可能以后会加上）。

功能：利用regex进行网页分析，稍加运用，即可用于批量下载，可用于资源手机，包括手机图片，彩信彩图，彩信铃声，flash小游戏（具体方法您自己捉摸，反正我是用此方法下了不少）；

环境:vc++6.0 +boost_1_33_1

要求：编译regex库，并将D:"BOOST"boost_1_33_1（我的目录）添加到include搜索路径

简介：主要实现函数都在"common.cpp"中

/ common.h

//******************************************
// Author by: chenpeng
// Create time: 2005-12-15
// File name:common.h
// Comments:

//*******************************************

#ifndef H_COMMON_2005_chenpeng_INCLUDED_
#define H_COMMON_2005_chenpeng_INCLUDED_

#if _MSC_VER > 1000
#pragma once
#endif // _MSC_VER > 1000

#include <boost/regex.hpp>
#include <vector>
using namespace std;

typedef struct structPairLink
{
    string  value1;
    string  value2;
} pairLink;

void writeLog(const string filename,const string message);
//vector<pairLink>& analysisWebsite(const string URL,const boost::regex reg,const boost::regex reg2);
vector<pairLink> analysisWebsite(const string URL,const string regExpression);
int downloadLinks(vector<pairLink>& linklist);
int testRegExpression(const string filename,const string regExpression);
string strSubReplace(string  strBig, const string & strsrc, const string &strdst);

#endif

//  common.cpp

//******************************************
// Author by: chenpeng
// Create time: 2005-12-15
// File name:common.cpp
// Comments:

//*******************************************

#include "StdAfx.h"
#include "common.h"
#include <afxinet.h>
#include <fstream>
#include <time.h>

vector<pairLink> analysisWebsite(const string URL,const string regExpression)
{
    vector<pairLink> vecValueFromWeb;

    CInternetSession session(NULL,0);
    CInternetFile* file=NULL;

    try
    {
      file = (CInternetFile*) session.OpenURL(URL.c_str());
    }
    catch (CInternetException* m_pException)
    {
      file = NULL;
      m_pException->Delete();
      session.Close();
      writeLog("err_session.txt","session : Failed to connect "+URL);
      return NULL;
    }

    ASSERT(file);

    pairLink matchedPair;

    boost::regex e(regExpression);
    boost::smatch what;

    char strLine[1024];

    while (file->ReadString(strLine,1024))
    {
        if (boost::regex_match(strLine,what,e)==true)
        {

         //将符合的内容(而不是该行)存入
          cout<<what[0]<<endl;
//          cout<<what[1]<<" "<<what[2]<<endl;
//          matchedPair.value1=what[1];
//          matchedPair.value2=what[2];
//          vecValueFromWeb.push_back(matchedPair);
//          writeLog("down.log",what[1]);
        }
    }
    return vecValueFromWeb;
}

int downloadLinks(vector<pairLink>& links)
{
    return 0;
}

//测试正则表达式是否正确
//第一个参数filename表示待分析的文件
//第二个参数表示所写的正则表达式
//第三个参数表示输出模式： 0－输出到控制台，1－输出到文件（文件名：time.txt）
//ignore the third argument,so the result can only be see in the file
int testRegExpression(const string filename,const string regExpression)
{
    int lineCount=0;
    char tmp[30];

    _tzset();
    _strtime(tmp);   const string  tmpTime=tmp;
    _strdate(tmp);   const string  tmpDate=tmp;

//    strSubReplace(tmpDate,"/","-");
//    strSubReplace(tmpTime,":",".");

    std::ZeroMemory(tmp,10);
    std::strcpy(tmp,".\\logs\\");
    std::strcat(tmp,strSubReplace(tmpDate,"/","-").c_str());
    std::strcat(tmp,"_");
    std::strcat(tmp,strSubReplace(tmpTime,":",".").c_str());
    std::strcat(tmp,".log");

    std::ofstream  fout(tmp,ios::out|ios::app);
    ASSERT(fout);

    fout<<"\n***************************************************************"<<endl;
    fout<<"Test time: "<<tmpDate<<" "<<tmpTime<<endl;
    fout<<"Filename: "<<filename<<endl;
    fout<<"Regex expression: "<<regExpression<<endl<<"……"<<endl;

    char strLine[1024];
    std::ifstream finput(filename.c_str(),ios::in);
    ASSERT(finput);

    boost::regex e(regExpression);
    boost::smatch what;
    int count=0;
    while(!finput.eof())
    {
      finput.getline(strLine,1024);//只返回换行符前面的一行，故可以实现逐行读取

      if (boost::regex_match(strLine,what,e)==true)
      {
          //what[0] 表示整个匹配行的内容
          fout<<"$"<<++lineCount<<"$ "<<what[1]<<" "<<what[2]<<what[3]<<endl;
          //fout<<"$"<<++lineCount<<"$ "<<what[0]<<endl;
          //fout<<"$"<<++lineCount<<"$"<<strLine<<endl;
      }
    }

    ASSERT(fout);
    fout<<"************** There are total "<<lineCount<<" lines matched! ***************"<<endl;
    fout.close();

    return lineCount;

}

//write log file
void writeLog(const string filename,const string message)
{
    fstream errfile(filename.c_str(),ios::out|ios::app);
    ASSERT(errfile);

    string tmpbuf;
    _tzset();
    _strdate((char *)tmpbuf.c_str());
    errfile<<tmpbuf<<" ";

    _strtime((char *)tmpbuf.c_str());
    errfile<<tmpbuf<<" "<<message<<endl;

    errfile.close();
}

//将整个文件写到一个string中
void load_file(std::string& s, std::istream& is)
{
   s.erase();
   s.reserve(is.rdbuf()->in_avail());
   char c;
   while(is.get(c))
   {
      if(s.capacity() == s.size())
         s.reserve(s.capacity() * 3);
      s.append(1, c);
   }
}

//
string strSubReplace(string strBig, const string & strsrc, const string &strdst)
{
   string result;
   string::size_type pos=0;
   string::size_type srclen=strsrc.size();
   string::size_type dstlen=strdst.size();
   while( (pos=strBig.find(strsrc, pos)) != string::npos)
   {
        strBig.replace(pos, srclen, strdst);
        pos += dstlen;
   }
   result=strBig;
   return result;

}

//环境配置测试代码

    using namespace boost;
    vector<string> strList;
    std::string s1="1265-2365-8954-8962";
    std::string s2="gttrgghtht";
    std::string s3="1265 2365 8954 8962";

    static const boost::regex e("(\\d{4}[- ]){3}\\d{4}",regbase::normal|regbase::icase);

    if (boost::regex_match(s1,e)==true)
       std::cout<<"s1 ok"<<std::endl;
    else
       std::cout<<"s1 failed"<<std::endl;

    if (boost::regex_match(s2,e)==true)
       std::cout<<"s2 ok"<<std::endl;
    else
       std::cout<<"s2 failed"<<std::endl;

    if (boost::regex_match(s3,e)==true)
       std::cout<<"s3 ok"<<std::endl;
    else
       std::cout<<"s3 failed"<<std::endl;

//成功执行过的代码（恕不解释）

   //采用归纳法，由一般得到共同的表达式
    //get one
    //testRegExpression("newhits.html","    <td width=\"17%\" height=\"28\" bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"http://mp3.baidu.com/m?tn=baidump3&ct=134217728&lm=-1&li=2&word=%B5%C8%B5%C8%B5%C8%B5%C8+%C1%CE%F6%C1%BC%CE\" target=_blank>等等等等</a>");
    //get one out of three
    //testRegExpression("newhits.html","    <td width=\"17%\" height=\"28\" bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"http:[^\"]*\" target=_blank>[^<]*</a>");
    //get all
    //testRegExpression("newhits.html","    <td width=\"17%\" [^#]*bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"http:[^\"]*\" target=_blank>[^<]*</a>");

    //优化:加入括号，以便于提取所需的内容
    //testRegExpression("mp3topsong.html","    <td width=\"17%\" [^#]*bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"(http:[^\"]*)\" target=_blank>([^<]*)</a>");
    //testRegExpression("newhits.html","    <td width=\"17%\" [^#]*bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"(http:[^\"]*)\" target=_blank>([^<]*)</a>");
    //testRegExpression("m.html","<a href=\"[^\"]*\" target=\"_blank\" title=\"请点击左键！来源网址:  ([^\\s]*)   请参照百度权利声明使用.*<font style=color:#e10900>([^<]*)</font> - <font style=color:#e10900>([^<]*)</font>.*");

//执行结果记录：

函数： //testRegExpression("mp3topsong.html"," <td width=""17%"" [^#]*bgcolor=""#FFFFFF"" class=""border""><a href=""(http:[^""]*)"" target=_blank>([^<]*)</a>");

结果：

转自：http://yeby.javaeye.com/blog/168606

posted on 2008-12-25 09:34 风荷小筑阅读(805) 评论(0) 编辑收藏举报