采集数据常用知识 - 随笔分类 - bule0707

获取下载网址

摘要：在下载网页源代码时，我们必须获取网页正确的网址。但是很多网页的网址并不是我们所需要的网址，这时就需要我们解析。第一类网址如：http://www.boc.cn/sourcedb/whpj/。像这样的网址，我们可以直接下载我们所需要的数据。第二类网址如：http://www.sge.sh/publish/sge/xqzx/jyxq/index.htm先从一个网页获取网址，然后从获取的网址中找到我们需要的网址。第三类网址如：http://www.sse.com.cn/sseportal/webapp/rzrq/sumdatainfo。如何下载指定日期的网址呢？我们可以查看源代码，找到相应的JS代. 阅读全文

posted @ 2013-01-11 17:08 bule0707 阅读(394) 评论(0) 推荐(0)

WebClient和HttpWebRequest下载网页源代码

摘要：在工作中经常要采集数据。我的做法是下载网页html代码然后正则匹配。下载网页源代码主要采用两种方法：第一：WebClient ///<summary> /// 获取网页源代码 ///</summary> ///<param name="p_CharSet">网页编码</param> ///<param name="p_Url">网址</param> ///<returns>源代码</returns> public static string WebData( 阅读全文

posted @ 2013-01-11 17:07 bule0707 阅读(1360) 评论(3) 推荐(0)

随笔分类 - 采集数据常用知识