摘要：
scrapy的手动请求发送实现全站数据爬取 yield scrapy.Reques(url,callback) 发起的get请求 callback指定解析函数用于解析数据 yield scrapy.FormRequest（url,callback,formdata）发起的post请求 formdat 阅读全文
posted @ 2020-08-30 21:46
gemoumou
阅读(144)
评论(0)
推荐(0)
摘要：
基于管道实现数据备份 将爬取到的数据分别存储到不同的载体 将数据一份存储到本地一份存储到mysql和redis 一个管道类对应一种形式的持久化存储操作，如果将数据存储到不同得载体中就需要使用多个管道类 创建一个爬虫工程：scrapy startproject proName 进入工程目录创建爬虫源文 阅读全文
posted @ 2020-08-30 17:25
gemoumou
阅读(140)
评论(0)
推荐(0)
摘要：
scrapy框架 简介：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。 环境安装： 阅读全文
posted @ 2020-08-30 00:31
gemoumou
阅读(120)
评论(0)
推荐(0)
浙公网安备 33010602011771号