程序猿的内卷日常

摘要： #Gerapy Gerapy是Scrapy界面调度框架，通过gerapy和scrapyd配合可以完成爬虫项目的在线管理，安装gerapy pip install gerapy 进入gerepy工作目录，初始化项目 cd e:/work_spider/ # 进入工作目录 gerapy init # 初 阅读全文

摘要： #scrapy 文件下载配置 ##爬取matplotlib作图库 matplotlib是非常有用的作图库，官网上提供了许多实例，可在’http://matplotlib.org/examples/index.html’ 查到，我们就把这些文件下载到本地，方便以后查找使用。 ###1 pipeline 阅读全文

摘要： #scrapy 设置图片下载 ##1 setting.py配置 ITEM_PIPELINES = { # 'img_spider.pipelines.ImgSpiderPipeline': 300, # 图片处理的管道中间件 'scrapy.pipelines.images.ImagesPipeli 阅读全文

摘要： 第一种安装 Python中存在大量的第三方模块，使用的时候需要执行命令安装 默认的安装方式，会从pypi.org网站仓库下载安装，仓库是国外的服务器，所以下载速率收到一定的限制，下载过程中很容易出现Readtime out问题 C:\Users\Administrator> pip install 阅读全文