Htmlunit写小爬虫使用心得

Htmlunit类似于一个支持js解析以及ajax等的一个无ui浏览器。

前段时间用它写过一个简单的微博爬虫，源码

Htmlunit的不仅支持js等解析还支持使用xpath，这样提取一些复杂的数据就十分方便了。

但现在htmlunit似乎还不是很火，所以网上资料也不是很多。但是用它来写爬虫真是简单的不行。特别是登陆，就类似于你对浏览器的操作。。

包括点击等动作，写起来十分的简单。

Htmlunit用好了绝对是一大利器。