摘要：
MySQL是一个轻量级的关系型数据库，本节中我们来了解下它的安装方式。 1. 相关链接 官方网站：https://www.mysql.com/cn 下载地址：https://www.mysql.com/cn/downloads 中文教程：http://www.runoob.com/mysql/mys 阅读全文
posted @ 2018-09-11 14:54
Shadow_Y
阅读(172)
评论(0)
推荐(0)
摘要：
pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。本节中，我们就来了解一下它的安装方式。 1. 相关链接 GitHub：https://github.com/gawel/pyquery PyPI：https://pypi. 阅读全文
posted @ 2018-09-11 14:53
Shadow_Y
阅读(643)
评论(0)
推荐(0)
摘要：
Beautiful Soup是Python的一个HTML或XML的解析库，我们可以用它来方便地从网页中提取数据。它拥有强大的API和多样的解析方式，本节就来了解下它的安装方式。 1. 相关链接 官方文档：https://www.crummy.com/software/BeautifulSoup/bs 阅读全文
posted @ 2018-09-11 14:52
Shadow_Y
阅读(223)
评论(0)
推荐(0)
摘要：
之前介绍的Requests库是一个阻塞式HTTP请求库，当我们发出一个请求后，程序会一直等待服务器响应，直到得到响应后，程序才会进行下一步处理。其实，这个过程比较耗费资源。如果程序可以在这个等待过程中做一些其他的事情，如进行请求的调度、响应的处理等，那么爬取效率一定会大大提高。 aiohttp就是这 阅读全文
posted @ 2018-09-11 14:51
Shadow_Y
阅读(246)
评论(0)
推荐(0)
摘要：
lxml是Python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。本节中，我们了解一下lxml的安装方式，这主要从Windows、Linux和Mac三大平台来介绍。 1. 相关链接 官方网站：http://lxml.de GitHub：https://git 阅读全文
posted @ 2018-09-11 14:51
Shadow_Y
阅读(191)
评论(0)
推荐(0)
摘要：
PhantomJS是一个无界面的、可脚本编程的WebKit浏览器引擎，它原生支持多种Web标准：DOM操作、CSS选择器、JSON、Canvas以及SVG。 Selenium支持PhantomJS，这样在运行的时候就不会再弹出一个浏览器了。而且PhantomJS的运行效率也很高，还支持各种参数配置， 阅读全文
posted @ 2018-09-11 14:50
Shadow_Y
阅读(275)
评论(0)
推荐(0)
摘要：
前面我们成功安装好了Selenium库，但是它是一个自动化测试工具，需要浏览器来配合使用，本节中我们就介绍一下Chrome浏览器及ChromeDriver驱动的配置。 首先，下载Chrome浏览器，方法有很多，在此不再赘述。 随后安装ChromeDriver。因为只有安装ChromeDriver，才 阅读全文
posted @ 2018-09-11 14:48
Shadow_Y
阅读(317)
评论(0)
推荐(0)
摘要：
上一节中，我们了解了ChromeDriver的配置方法，配置完成之后便可以用Selenium驱动Chrome浏览器来做相应网页的抓取。 那么对于Firefox来说，也可以使用同样的方式完成Selenium的对接，这时需要安装另一个驱动GeckoDriver。 本节中，我们来介绍一下GeckoDriv 阅读全文
posted @ 2018-09-11 14:48
Shadow_Y
阅读(5163)
评论(0)
推荐(0)
摘要：
Selenium是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些JavaScript渲染的页面来说，这种抓取方式非常有效。下面我们来看看Selenium的安装过程。 1. 相关链接 官方网站：http://www.seleniumhq.org GitHub： 阅读全文
posted @ 2018-09-11 14:47
Shadow_Y
阅读(383)
评论(0)
推荐(0)
摘要：
由于Requests属于第三方库，也就是Python默认不会自带这个库，所以需要我们手动安装。下面我们首先看一下它的安装过程。 1. 相关链接 GitHub：https://github.com/requests/requests PyPI：https://pypi.python.org/pypi/ 阅读全文
posted @ 2018-09-11 14:46
Shadow_Y
阅读(367)
评论(0)
推荐(0)
浙公网安备 33010602011771号