使用C#和HtmlAgilityPack解析HTML

　　近期，有一个需求，需要解析HTML页面，读取一些需要的数据后，插入本地数据库。我知道可以通过正则表达式实现，然而正则表达式之于我，就像汇编语言之于我，一样。我知道它是干什么的，我也知道它能干什么，但是我一直不知道怎么干，曾经尝试过，后来用得太少，最终放弃了。也知道有一些组件可以实现操作HMTL，比如mshtml，比如WebBrowser，然而总是感觉不太好，不太专业。犹犹疑疑，一直没有开始，直到发现HtmlAgilityPack，如获至宝，中间那个词Agility，是敏捷、灵活的意思。

　　以下文字，部分摘录于周公博客，有所改编。

　　这里是W3School的详细介绍

　　XPath简明介绍
 　　XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。
 　　下面列出了最有用的路径表达式：
 　　nodename:选取此节点的所有子节点。 
　　 /是从根节点选取。 
 　　//是从匹配选择的当前节点开始选择当前节点之下的节点，而不考虑它们的位置和深度。 
 　　.（一个点）是选取当前节点。 
 　　..（两个点）选取当前节点的父节点。
 　　例如有下面一段XML:

<?xml version="1.0" encoding="utf-8"?> 
 <Articles> 
 <Article> 
   <Title>在ASP.NET中使用Highcharts js图表</title> 
   <Url>http://zhoufoxcn.blog.51cto.com/792419/537324</Url> 
   <CreateAt type="en">2011-04-07</price> 
 </Article> 
 <Article> 
   <Title lang="eng">Log4Net使用详解（续）</title> 
   <Url>http://blog.csdn.net/zhoufoxcn/archive/2010/11/23/6029021.aspx</Url> 
   <CreateAt type="zh-cn">2010年11月23日</price> 
 </Article> 
 <Article> 
   <Title>J2ME开发的一般步骤</title> 
   <Url>http://blog.csdn.net/zhoufoxcn/archive/2011/06/12/6540223.aspx</Url> 
   <CreateAt type="zh-cn">2011年06月12日</price> 
 </Article> 
 <Article> 
   <Title lang="eng">PowerDesign高级应用</title> 
   <Url>http://zhoufoxcn.blog.51cto.com/792419/166415</Url> 
   <CreateAt type="zh-cn">2007-09-08</price> 
 </Article> 
 </Articles> 

 针对上面的XML文件，我们列出了带有谓语的一些路径表达式，以及表达式的结果：
 /Articles/Article[1]：选取属于Articles子元素的第一个Article元素。 即第一组<Article></Article>。注意，从1开始，不是从0开始。
 /Articles/Article[last()]：选取属于Articles子元素的最后一个Article元素。 即最后一组<Article></Article>
 /Articles/Article[last()-1]：选取属于Articles子元素的倒数第二个Article元素。 
 /Articles/Article[position()<3]：选取最前面的两个属于 bookstore 元素的子元素的Article元素。 
 //title[@lang]：选取所有拥有名为lang的属性的title元素。 
 //CreateAt[@type='zh-cn']：选取所有CreateAt元素，且这些元素拥有值为zh-cn的type属性。 
 /Articles/Article[Order>2]：选取Articles元素的所有Article元素，且其中的Order元素的值须大于2。 
 /Articles/Article[Order<3]/Title：选取Articles元素中的Article元素的所有Title元素，且其中的Order元素的值须小于3。

 

HtmlAgilityPack API简明介绍
 在HtmlAgilityPack中常用到的类有HtmlDocument、HtmlNodeCollection、
HtmlNode和HtmlWeb等。
 其流程一般是先获取HTML，这个可以通过HtmlDocument的Load()或LoadHtml()来加载静态内容，或者也可以HtmlWeb的Get()或Load()方法来加载网络上的URL对应的HTML。
 得到了HtmlDocument的实例之后，就可以用HtmlDocument的DocumentNode属性，这是整个HTML文档的根节点，它本身也是一个HtmlNode，然后就可以利用HtmlNode的SelectNodes()方法返回多个HtmlNode的集合对象HtmlNodeCollection，也可以利用HtmlNode的SelectSingleNode()方法返回单个HtmlNode。

HtmlAgilityPack实战

private void ParsePage()
        {
            docText = GetWebClient("http://www.bjjs.gov.cn/eportal/ui?pageId=308888");
            //string text = File.ReadAllText(@"C:\Users\sabre\Downloads\北京市专业人员信息查询.htm");
            //Post("http://www.bjjs.gov.cn/eportal/ui?pageId=308888", text,Encoding.UTF8.WebName);

            //PostWebRequest("http://www.bjjs.gov.cn/eportal/ui?pageId=308888", text, Encoding.UTF8);

            Post("http://www.bjjs.gov.cn/eportal/ui?pageId=308888", "currentPage=10", Encoding.UTF8.WebName);

            var doc = new HtmlDocument();
            doc.LoadHtml(docText);


            //人员数据
            var persons = doc.DocumentNode.SelectSingleNode("/html[1]/body[1]/div[4]/div[3]/div[1]/div[2]/div[2]/table[1]/tbody[1]/tr[1]/td[1]/table[1]/tbody[1]");
            HtmlNodeCollection personList = persons.SelectNodes(@"tr");
            foreach (var item in personList)
            {
                //根据class判断，标题行跳过
                if (item.Attributes["class"] != null)
                {
                    string styleclass = item.Attributes["class"].Value;
                    if (styleclass == "DataGrid-Header") continue;//标题行跳过
                };

                var tds = item.SelectNodes(@"td");

                foreach (var td in tds)
                {
                    var a = td.InnerText;//获取目标数据，如姓名、证件号等，此处可以开始进行相应的数据处理，如持久化
                }
            }


            //按钮数据
            var buttons = doc.DocumentNode.SelectSingleNode("/html[1]/body[1]/div[4]/div[3]/div[1]/div[2]/div[2]/table[1]/tbody[1]/tr[1]/td[1]/table[1]/tbody[1]/tr[19]/td[1]/div[1]");

            var buttonList = buttons.SelectNodes(@"table//a");

            foreach (var item in buttonList)
            {
                string a = string.Empty;
                string b = string.Empty;
                if (item.Attributes["onclick"] != null)
                {
                    a = item.Attributes["onclick"].Value;
                    //var pattern = "/=(.+?);/g";
                    //var pattern = "/=(.*?);/";
                    var pattern = @"\d";
                    Regex reg = new Regex(pattern);
                    MatchCollection mc = reg.Matches(a);
                    foreach (Match m in mc)
                    {
                        b += m.Value;
                    }
                }
            }
        }