2020年9月19日
【Scrapy(二)】Scrapy 中的 Pipline,Item,Shell组件
摘要： Pipline: 1.爬虫项目与爬虫的区别与关联: 一个爬虫项目可以包含多个爬虫,如下图中爬虫项目firstspider 包含多个爬虫itcst 和爬虫itcast1 2.多个爬虫是公用一套Pipline组件的,在Pipline组件中如何区分不同的爬虫? 方法一: 在爬虫中使用自定义键,然后在一个p 阅读全文
posted @ 2020-09-19 20:43 听风是雨 阅读(239) 评论(0) 推荐(0)
【github】 加速国内 Github 访问，下载，的9种方案！
摘要： 原文参考 https://mp.weixin.qq.com/s/ptFBjWXj88fsI3Oh6PghRA 1. GitHub 镜像访问 这里提供两个最常用的镜像地址： https://github.com.cnpmjs.org https://hub.fastgit.org 也就是说上面的镜像就 阅读全文
posted @ 2020-09-19 18:31 听风是雨 阅读(196361) 评论(3) 推荐(17)
【Scrapy(一)】 Scrapy爬虫的基础执行流程
摘要： 安装scrapy模块 : pip install scrapy 创建scrapy项目 1.scrapy startprojecty 项目名称 注意:如果创建失败,可以先卸载原有的scrapy模块,使用pip3 intall scrapy 进行安装 2.生成一个爬虫 scrapy genspider 阅读全文
posted @ 2020-09-19 18:23 听风是雨 阅读(622) 评论(0) 推荐(0)
【Nginx(五)】Nginx配置Https证书
摘要： 大致的流程如下 1.申请Https证书,绑定域名信息; 由于自己的服务器是腾讯云服务器, 这里就在腾讯云上申请SSL证书, 申请地址: https://console.cloud.tencent.com/ssl 点击申请免费的SSL证书,弹窗如下: 这里直接申请亚洲诚信的证书 点击确定,输入相关信息 阅读全文
posted @ 2020-09-19 01:40 听风是雨 阅读(1782) 评论(0) 推荐(0)
/* 看板娘 */