摘要：在做网页抓取爬虫类的工具时，经常要对页面进行监控和解析，其中监控就是检查页面内容是否发生了更新。判断网页是否发生变化最直接的方法是设置页面的某一处为监控区域，每次都抓取该部分区域的内容，然后与本地保存的或最近一次抓取内容比较，如果有差异就表明网页发生了变化，才可以进行解析。这种方法比较稳妥，几乎可达到万无一失的效果。但是，这种方式在每次扫描时都要下载页面内容，并且要去截取监控区域的内容，最后还要进... 阅读全文

摘要：之前发个一篇关于实现html转成xml的劣作《实现html转Xml》，受到不少网友的关心。该实现方法是借助htmlparser去分解html内容，然后按照dom的结构逐个生成xml字符串。在没有充分实践后，还以为该方案能解决问题。然而经过实际使用，效率确实很低，而且对一些特殊html属性的转换也不支持，得到的结果差强人意。　　偶然一次机会在浏览codeplex网站时，发现一款很不错的html解析以... 阅读全文

摘要：做网页解析时，将html转成xml格式之后，再利用xpath则可以轻易地截取任何所需要的数据。在使用xpath时，常常会用到其中的一些函数，特别是字符串函数，完整的函数列表可在w3school找到:http://www.w3school.com.cn/xpath/xpath_functions.asp#string)。然而这仅仅是标准xpath里所提供的，dotnet里这只实现了一部分，特别是本标... 阅读全文