解析Html生成标签树（前言）

转 老田的专栏

提示：

根据这几天的访问量跟踪，我发现很多访者都没有很好地关注到真正进行算法描述的章节《解析Html生成标签树（一）》，特此进行提示。

搜索引擎一个最重要的步骤就是，获得网页的正文内容，我相信每个人看见一篇网页的时候，从视觉上都很容易知道哪个部分是正文内容，哪个部分是版权信息，哪个部分是广告信息。但是要让计算机明白这些，估计要若干年（到时候还不知道人类是否已经变异成4只眼睛，5个耳朵。。。）之后。

   在网络上大量存在一些关于网页正文抽取的理论性文章，最著名的应该数介绍北大天网的《搜索引擎原理技术与系统》一书中所介绍的网页净化技术了，中心思想大概就是，首先将Html源文件解析成一棵以Html标签为节点的树（为了后面的描述方便，我们称其为“Html树”），然后再根据一定的启发式规则进行判断，当然各位可以具体去找这书来看看。所以很多的都是参考这种方式来实现。遗憾的是我没有找到源代码，并且我也不擅长Linux编程，所以即使拿到代码，估计也会头痛很久（看不懂啊）。怎么办呢？Baidu以后Google，Google以后Baidu。我都不知道为了这个事情，向这两家贡献了多少流量啊，估计他们应该给我发奖金。但是我都没有找到自己想要的代码。。。据说有一个名叫HtmlParser的家伙可以做这东西。但是我下载了一个以后（后来证明应该不是正宗的，在一个老外写的Spider中有这么几个类http://www.codeproject.com/上下载的）发现不是我想要的，虽然可以很好的解析出里面的超级链接之类的东西。所以最终确定不能用，最多只能作为学习例子进行研究。

   估计HtmlParser应该是可以实现，但是我人懒，没有找到使用这东西的可执行文件，最主要的是我根本就还没有下载到HtmlParser工具包。我最喜欢的是能够先看效果，然后研究，因为我没有太多的时间来研究老外写的代码，说实在话，我的代码有点自己的风格，但是老外的代码有时候也是很难读懂的，这点“要向老外学习”。

   我也找到这么篇文章：http://blog.csdn.net/lanphaday/archive/2007/08/13/1741185.aspx，说这种方法可行，可是这个不是C#写的，也找不到可执行文件，最重要的是，最终我都没有读懂这文章。

   某天之后我终于醒悟，决定自己写一个能够解析Html文档的东西。自己写的，想怎么改就怎么改，想怎么用就怎么用。再废话几句，为什么要把Html先解析成Html树呢，因为在实际的搜索引擎应用中，人们可能会需要利用到每个Html的标签的一些属性（比如粗体、斜体、颜色等等）来判断一篇网页的重要程度，便于对网页进行进一步的挖掘。

我相信各位也是比较喜欢首先看效果的，我也首先给各位看看效果：

Html文件如下：

view plaincopy to clipboardprint?
  1. <html>  
  2.   
  3.  <head>  
  4.   
  5.      <title>解析Html文件</title>  
  6.   
  7.      <meta content="!@#$%^&*(">  
  8.   
  9.  </head>  
  10.   
  11.  <body>  
  12.   
  13.      <table>  
  14.   
  15.          <tr>  
  16.   
  17.              <td>  
  18.   
  19.                  <table>  
  20.   
  21.                      <tr>  
  22.   
  23.                          <td></td>  
  24.   
  25.                      </tr>  
  26.   
  27.                  </table>  
  28.   
  29.              </td>  
  30.   
  31.              <td></td>  
  32.   
  33.          </tr>  
  34.   
  35.          <tr>  
  36.   
  37.              <td></td>  
  38.   
  39.              <td></td>  
  40.   
  41.          </tr>  
  42.   
  43.      </table>  
  44.   
  45.  </body>  
  46.   
  47. </html>  

 解析以后图片如下：

 

 结果到是理想的。下一篇将详细介绍生成算法

 在：http://blog.csdn.net/RonoTian/archive/2008/06/06/2517568.aspx中我已经详细介绍了方法，并且配上了核心思路和核心代码。

posted @ 2008-09-07 21:27  简单就好  阅读(1457)  评论(1)  编辑  收藏  举报