摘要: NCrawler是一款国外的开源网络爬虫软件,遵循LGPL许可协议。其HTML处理使用的是htmlagilitypack开源库,采用xpath的方式处理定位网页元素,十分方便。同时其采用HttpWebRequest异步的方式获取网页,采集效率较高。台湾微软MSDN有一篇如何使用NCrawler参考文... 阅读全文
posted @ 2015-03-24 15:54 任飞儿 阅读(596) 评论(0) 推荐(0)