HtmlAgilityPack 抓取论坛帖子的图片

HtmlAgilityPack

.net处理html页面元素的工具类(HtmlAgilityPack.dll)的使用，用途比较多的应该是例如采集类的功能，采集到的html字符串要怎样处理是一个头痛的问题，如果是截取就太麻烦了而且容易出错。所有就用到本文的第三方dll来处理了。 

HtmlAgilityPack 下载地址

官方地址：http://htmlagilitypack.codeplex.com/

修改支持中文的地址：https://files.cnblogs.com/jak-black/HtmlAgilityPack_%E6%94%AF%E6%8C%81%E4%B8%AD%E6%96%87.7z

Demo说明：抓取帖子里面的图片，下载到本地。

核心代码

 /// <summary>
            /// 获取帖子列表
            /// </summary>
            /// <param name="url">网址</param>
            /// <param name="nextpagstr">返回下一页的网址，没有的话将返回""</param>
            /// <returns></returns>
            private List<String> GetPostsList(String url)
            {
                List<String> iRet = new List<string>();
                HtmlWeb iWeb = new HtmlWeb();     
                SetMsg("开始获取帖子列表……");
                for (int i = 0; i <1; i++)//控制读取论坛的链接
                {
                    HtmlAgilityPack.HtmlDocument iHtmlDoc = iWeb.Load(url.Replace("&page=1", "&page="+(i+1)));
                    HtmlNode navNode = iHtmlDoc.GetElementbyId("threadlist");
                    HtmlNodeCollection iNodes = navNode.SelectNodes("//ul[@class='ml mlt mtw cl']/li/h3/a");//获取UL->li-->h3-->a
                    HtmlNodeCollection imgNode = navNode.SelectNodes("//ul[@class='ml mlt mtw cl']/li/div[@class='c cl']/a");//获取UL->li-->h3-->a
                    string title = string.Empty;
                    string href = string.Empty;
                    string img = string.Empty;
                    for (int j = 0; j < iNodes.Count; j++)
                    {
                        title = iNodes[j].InnerText;//获取文字
                        href = iNodes[j].Attributes["href"].Value;//获取href 的value
                        img = imgNode[j].ChildNodes[1].Attributes["src"] == null ? "" : imgNode[j].ChildNodes[1].Attributes["src"].Value; //获取src
                       // iRet.Add("title-->" + title + "  " + "href-->" + href + " " + "img-->" + img+" ");
                        iRet.Add(href);
                    }
                    SetMsg("第"+(i+1)+"页"+"  共 " + iRet.Count.ToString() + " 个帖子……");
                    Thread.Sleep(1000);
                }                
                return iRet;
            }

/// <summary>
            /// 保存文件
            /// </summary>
            public void GetImg() 
            {
                List<String> li = GetPostsList(aBaseUrl);
                for (int j = 0; j < li.Count; j++)
                {
                    List<String> iPostsList = GetImgList(li[j].ToString());
                    for (int i = 0; i < iPostsList.Count; i++)
                    {
                        SetMsg((i+1) + "-------------------------");
                        string iPostid = iPostsList[i].Substring(iPostsList[i].LastIndexOf("/") + 1);
                        String aFileName = aFileBasePath + iPostid;
                        aWebClient.DownloadFile(iPostsList[i], aFileName);//下载文件
                        Thread.Sleep(1000);
                    }
                }
            }

程序下载