随笔分类 - 解析
html解析/信息挖掘
摘要:向HtmlAgilityPack道歉:解析HTML还是你好用2012-02-07 22:253106人阅读评论(4)收藏举报去年写过一篇文章《解析HTML最好的类还是微软自己的》(http://www.cnblogs.com/rupeng/archive/2010/06/26/1765840.html),回复中有朋友提到可以使用HtmlAgilityPack来进行HTML的解析。当时只是匆匆的测试了一下,发现HtmlAgilityPack得到的InnerText中有很多的不干净的script、样式内容,就断定“不是很满意,解析DiscuzNT!论坛的帖子页面的时候有问题,没法正确得到Body.
阅读全文
摘要:据说Jumony Parser是目前对HTML规范支持最好的HTML Parserhttp://www.cnblogs.com/Ivony/archive/2010/12/19/jumony-guide-1.html
阅读全文
摘要:利用HtmlAgilityPack抓取XX网站图片并下载~~~~~~邪恶版。。。。 !!!--声明啊(运行后,我不是您想的那种人的。。。。。。)--!! 我看到已经有2人反对了这篇文章,真是打击呀,我也没怎么伤天害理嘛,手下留情,please...由于提前到了学校,昨晚逛博客园的时候,意外发现了HtmlAgilityPack这个好东东,是微软的一个类库,用来分析Html页面的结构啊,等等。。。。。不得不说,HtmlAgil...
阅读全文
摘要:Highlighter.dll里面提供了一个函数GetBestFragments,居然不好用,没查到是什么原因。索性自己写一个,参数分别是:1 source,字符串,网页内容;2keyArr,字符串数组,关键字数组。protectedstringGetBestFragments(stringsource,string[]keyArr){stringresult;intstartMin,startM...
阅读全文
摘要:做房产网站的垂直搜索,大多数网站的网页都是动态的,所以无法从response里面提取last-modified,而房产网页里面都带有时间,但是格式却不尽相同:有2007-10-01,2007年10月1日等等。所以就写了一个类专门提取时间,并把时间提取之后统一存为2007-01-01的格式。1publicstringGetPubdate()2{3intnDateStart;4StringstrDat...
阅读全文
摘要:命名空间里有两个类:1.HtmlUtil;2.Htmlpage。分别引用的别人的写好的类,其中也做了不少改变。一开始是用HtmlUtil解析网页,它使用正则表达式解析HTML网页,后来发现某些情况下解析的不是太好。后来在sourceforge里面发现了MLIHTML拿过来用了一下,还不错。1usingSystem;2usingSystem.Collections.Generic;3usingSys...
阅读全文
浙公网安备 33010602011771号