摘要：
引言 本篇介绍Crawlspider，相比于Spider，Crawlspider更适用于批量爬取网页 Crawlspider Crawlspider适用于对网站爬取批量网页，相对比Spider类，CrawSpider主要使用规则（rules）来提取链接，通过定义一组规则为跟踪链接提供了遍历的机制。 阅读全文
posted @ 2019-10-20 21:28
一颗桃子t
阅读(783)
评论(0)
推荐(0)
摘要：
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 scrapy 框架 高性能的网络请求 高性能的数据解析 高性能的持久化存储 深度爬取 全站爬取 分布式 中间件 请求传参 环境的安装 mac/linux：pip i 阅读全文
posted @ 2019-10-20 21:27
一颗桃子t
阅读(610)
评论(0)
推荐(0)
摘要：
本篇介绍基于asyncio模块，实现单线程-多任务的异步协程 基本概念 协程函数 协程函数: 定义形式为 async def 的函数; aysnc 在Python3.5+版本新增了aysnc和await关键字，这两个语法糖让我们非常方便地定义和使用协程。 如果一个函数的定义被async修饰后，则该函 阅读全文
posted @ 2019-10-20 21:25
一颗桃子t
阅读(1041)
评论(0)
推荐(0)
浙公网安备 33010602011771号