摘要：
一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。 - sc 阅读全文
posted @ 2019-09-23 23:21
陪伴is最长情的告白
阅读(446)
评论(0)
推荐(0)
摘要：
Pyppeteer pyppeteer模块的基本使用 引言 Selenium 在被使用的时候有个麻烦事，就是环境的相关配置，得安装好相关浏览器，比如 Chrome、Firefox 等等，然后还要到官方网站去下载对应的驱动，最重要的还需要安装对应的 Python Selenium 库，确实是不是很方便 阅读全文
posted @ 2019-09-23 16:01
陪伴is最长情的告白
阅读(444)
评论(0)
推荐(0)
摘要：
- 在python3.4之后新增了asyncio模块，可以帮我们检测IO（只能是网络IO【HTTP连接就是网络IO操作】），实现应用程序级别的切换（异步IO）。注意：asyncio只能发tcp级别的请求，不能发http协议。 - 异步IO：所谓「异步 IO」，就是你发起一个 网络IO 操作，却不用等 阅读全文
posted @ 2019-09-23 15:41
陪伴is最长情的告白
阅读(473)
评论(0)
推荐(0)
浙公网安备 33010602011771号