文章分类 -  Scrapy

强大的Scrapy之无所不能
Scrapy 基本用法之URL自定义去重、pipelines自定义存储、自定义拓展、配置文件详解
摘要：自定义去重URL类 settings.py： 在项目目录下创建一个RepeatFilter.py文件，创建一个去重类RepeatUrl： spider.py： pipeline持久化数据存储拓展 pipelines.py: settings.py: EXTENSIONS自定义拓展插件 MyExten 阅读全文
posted @ 2019-06-12 18:46 我在地球凑人数的日子 阅读(828) 评论(0) 推荐(1)
Scrapy 基本用法之安装、目录结构、分布式、代理、增量式
摘要：一、安装 Linux： pip install scrapy Windows: 第一步：pip install wheel 第二步：先进入网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#Twisted 下载对于Twisted 使用pip安装 第三步：pi 阅读全文
posted @ 2019-03-29 18:00 我在地球凑人数的日子 阅读(561) 评论(0) 推荐(0)