半路独行

Asp .Net Core网页数据爬取笔记

突然要用到地区数据,想到以前用python的Scrapy框架写过一个爬虫,于是打算直接去国家统计局把最新的地区数据抓取回来.本想只需要copy一下以前的代码,就可以得到新鲜出炉的数据,谁知打开以前的项目,脑子一片空白,一点印象都莫得.只恨当时没有做做笔记,写个博客啥的来加深一下影响.点子已经到这里来了,于是在.net core框架下再做了一点简单的爬取工作,并截取前面一部分,整理成文,方便以后回顾

 

 网页分析

网页数据抓取,第一步就是分析网页的结构,包括下面3种基本的信息:

    1网页编码格式:得到正确的编码格式是非常重要的,乱码可是会让人头疼

    2锁定目标节点:找到目标数据所在的节点

    3找寻多级依赖关系:例如本次爬取的省,市,区...,他们之间是存在依赖关系的,找到它们之间的关系才能获取完整的数据

网页的复杂程度不止于此,当遇到复杂的情况时,我们需要分析更多的信息,但就本次抓取而言,上述信息足以,所以不多做考虑

 

下面就以抓取省份或直辖市为例:

页面如下:

 

 查看页面元信息,页面编码格式为GB2312

 <META content="text/html; charset=gb2312" http-equiv=Content-Type> 

 

锁定数据所在的dom节点

 1 <tr class='provincetr'>
 2     <td><a href='11.html'>北京市<br /></a></td>
 3     <td><a href='12.html'>天津市<br /></a></td>
 4     <td><a href='13.html'>河北省<br /></a></td>
 5     <td><a href='14.html'>山西省<br /></a></td>
 6     <td><a href='15.html'>内蒙古自治区<br /></a></td>
 7     <td><a href='21.html'>辽宁省<br /></a></td>
 8     <td><a href='22.html'>吉林省<br /></a></td>
 9     <td><a href='23.html'>黑龙江省<br /></a></td>
10 </tr>
11 <tr class='provincetr'>
12     <td><a href='31.html'>上海市<br /></a></td>
13     <td><a href='32.html'>江苏省<br /></a></td>
14     <td><a href='33.html'>浙江省<br /></a></td>
15     <td><a href='34.html'>安徽省<br /></a></td>
16     <td><a href='35.html'>福建省<br /></a></td>
17     <td><a href='36.html'>江西省<br /></a></td>
18     <td><a href='37.html'>山东省<br /></a></td>
19     <td><a href='41.html'>河南省<br /></a></td>
20 </tr>
21 <tr class='provincetr'>
22     <td><a href='42.html'>湖北省<br /></a></td>
23     <td><a href='43.html'>湖南省<br /></a></td>
24     <td><a href='44.html'>广东省<br /></a></td>
25     <td><a href='45.html'>广西壮族自治区<br /></a></td>
26     <td><a href='46.html'>海南省<br /></a></td>
27     <td> <a href='50.html'>重庆市<br /></a></td>
28     <td><a href='51.html'>四川省<br /></a></td>
29     <td><a href='52.html'>贵州省<br /></a></td>
30 </tr>
31 <tr class='provincetr'>
32     <td><a href='53.html'>云南省<br /></a></td>
33     <td><a href='54.html'>西藏自治区<br /></a></td>
34     <td><a href='61.html'>陕西省<br /></a></td>
35     <td><a href='62.html'>甘肃省<br /></a></td>
36     <td><a href='63.html'>青海省<br /></a></td>
37     <td><a href='64.html'>宁夏回族自治区<br /></a></td>
38     <td><a href='65.html'>新疆维吾尔自治区<br /></a></td>
39 </tr>

 

找寻依赖关系

<a>标签的href属性的数字部分是进入下一级地域的关键

 

 数据抓取

在分析完页面结构后,下一步就可以开始我们的数据抓取

 

首先安装AngleSharp(Install-Package AngleSharp )的包,

AngleSharp :一个基于.NET(C#)开发的专门为解析xHTML源码的DLL组件(传送门),有了它我们就可以把得到的网页内容转换成规则的DOM,找寻我们的目标节点就变得非常简单

 

其次我所用的版本net core(2.2)不支持GB2312,如果直接操作,得到的只能是乱码,解决方法如下

    1安装System.Text.Encoding.CodePages包(Install-Package System.Text.Encoding.CodePages)

    2在启动类Starup的Configure方法中加入Encoding.RegisterProvider(CodePagesEncodingProvider.Instance)

 

做好上述的工作准备后,具体的代码如下

 1     /// <summary>
 2     /// 爬虫辅助类
 3     /// </summary>
 4     public static class SpiderHelper
 5     {
 6         private static HtmlParser htmlParser = new HtmlParser();
 7 
 8         public static string GetHtml(string url)
 9         {
10             HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
11 
12             HttpWebResponse response = (HttpWebResponse)request.GetResponse();
13 
14             try
15             {
16                 Stream receive = response.GetResponseStream();
17 
18                 StreamReader readStream = new StreamReader(receive, Encoding.GetEncoding("GB2312"));
19 
20                 return readStream.ReadToEnd();
21             }
22 
23             catch (Exception)
24             {
25                 return "";
26             }
27         }
28 
29         /// <summary>
30         /// 获取省份
31         /// </summary>
32         private static List<AreaViewModel> GetProvinces()
33         {
34             string html = GetHtml("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/index.html");
35 
36             List<AreaViewModel> data = new List<AreaViewModel>();
37 
38             if (string.IsNullOrEmpty(html)) return data;
39 
40             //网页整体dom
41             var document = htmlParser.ParseDocument(html);
42 
43             //目标元素dom,class为provincetr的tr元素下的a标签
44             var list = document.QuerySelectorAll("tr.provincetr a");
45 
46             foreach (var item in list)
47             {
48                 string name = item.TextContent;
49 
50                 string id = item.GetAttribute("href").Replace(".html", "");
51 
52                 data.Add(new AreaViewModel()
53                 {
54                     Id = id,
55                     Name = name,
56                     ParentId = "",
57                     Type = 2,
58                     Zip = ""
59                 });
60             };
61 
62             return data;
63         }
64     }

 

总结

上述的例子属于最基本的类型,对于更多网页数据的爬取,需要考虑的情况更加复杂,那时候就需要更加深入的剖析结构后通过更加复杂的技术来获取数据.但是最基本通用的原理还是和本文介绍的小例子相似

(终)

文档信息

 

感谢您的阅读，如果您觉得阅读本文对您有帮助，请点一下“推荐”按钮。本文欢迎各位转载，但是转载文章之后必须在文章页面中给出作者和原文连接。
posted @ 2019-04-19 22:45  半路独行  阅读(1538)  评论(0)  编辑  收藏  举报