python--web crawler-II

使用Chrome  or  Firefox  进行网页抓取，不足之处，程序运行过程中需要一直开着浏览器。

方法一：目前，最新的Chrome支持无界面模式。

方法二：安装无界面浏览器PhantomJS，此时抓取过程在后台运行，不会有窗口出现。

 

 

selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击，下拉等。对于一些javascript渲染的页面来说，这种抓取方式非常有效。