文章分类 -  网页抓取

摘要：using System; using System.Collections.Generic; using System.Web; using System.Web.UI; using System.Web.UI.WebControls; using System.Net; using System.Text; using System.IO; using System.Text.RegularE... 阅读全文

摘要：getHref方法的实现 // 从中获得Href private String getHref(string a) { try { string p = @"href\s*=\s*('[^']*'|""[^""]*""|\S+\s+)"; // 获得Href的正则表达式 MatchCollection matches = Regex.Matches(a, p, RegexOptions.Ignor... 阅读全文

摘要：用C#2.0实现网络蜘蛛(WebSpider) 阅读全文

摘要：通过程序自动的读取其它网站网页显示的信息，类似于爬虫程序。比方说我们有一个系统，要提取BaiDu网站上歌曲搜索排名。分析系统在根据得到的数据进行数据分析。为业务提供参考数据。 为了完成以上的需求，我们就需要模拟浏览器浏览网页，得到页面的数据在进行分析，最后把分析的结构，即整理好的数据写入数据库。那么我们的思路就是： 1、发送HttpRequest请求。 2、接收HttpResponse... 阅读全文

摘要：由于自己的搜索引擎中做到了这一块内容，所以今天说说如何抓取网页数据、分析并且去除Html标签，给大家提供一个参考。我的平台是Visual Studio2005，C#。 —————————————————————割————————————————————————— 首先将网页内容整个抓取下来，这个我就不说了，不是本次话题的重点。假设抓取的数据放在RecvBuffe... 阅读全文