摘要：
一、Request 发送一个请求，参数如下： url ：request对象发送请求的url callback ：在下载器下载完相应的数据后执行的回调函数 method ：请求方法，默认为get headers ：请求头，固定的— settings文件中，非固定的在请求时加上即可 meta ：比较常用 阅读全文
posted @ 2019-09-17 16:24
西瓜你个兔子
阅读(293)
评论(0)
推荐(0)
摘要：
一、设置随机请求头 二、设置随机代理ip（开放代理） 三、设置独享代理 阅读全文
posted @ 2019-09-17 16:19
西瓜你个兔子
阅读(339)
评论(0)
推荐(0)
摘要：
配置下载图片的流程如下 在items中定义两个属性，image_urls 和images 。image_urls是用来存储需要下载的图片url链接，列表类型； 当文件下载完成后会把相关下载信息存入images属性中，如下载的url和图片校验码等； 在配置文件settings中配置IMAGES_STO 阅读全文
posted @ 2019-09-17 16:11
西瓜你个兔子
阅读(686)
评论(0)
推荐(0)
摘要：
Scrapy的CloseSpider扩展会在满足条件时自动终止爬虫程序。可以设置CLOSESPIDER_TIMEOUT（秒）、CLOSESPIDER_ITEMCOUNT、CLOSESPIDER_PAGECOUNT、CLOSESPIDER_ERRORCOUNT分别代表在指定时间过后、在抓取了指定数目的 阅读全文
posted @ 2019-09-17 15:38
西瓜你个兔子
阅读(621)
评论(0)
推荐(0)
摘要：
1、创建一个CrawlerSpider 2、Rule规则 3、LinkExtractor提取器 示例（抓取微信小程序社区） 阅读全文
posted @ 2019-09-17 15:33
西瓜你个兔子
阅读(723)
评论(0)
推荐(0)
摘要：
1、安装 2、启动 3、查看 4、停止 5、卸载 `sudo apt get purge auto remove redis server` 阅读全文
posted @ 2019-09-17 15:22
西瓜你个兔子
阅读(144)
评论(0)
推荐(0)
摘要：
Redis简介 Redis是完全开源免费的高性能Key Value数据库，有以下几个特点： Redis支持数据持久化，可以将内存中的数据保存至磁盘中，重启可以再次加载进行使用。 Redis不仅仅支持简单的Key Value类型的额数据，同时还提供list，set，zset（有序集合），hash等数据 阅读全文
posted @ 2019-09-17 15:15
西瓜你个兔子
阅读(353)
评论(0)
推荐(0)
浙公网安备 33010602011771号