摘要: 笔记-scrapy-scarpyd 1. scrapy部署 会写爬虫之后就是部署、管理爬虫了,下面讲一下如何部署scrapy爬虫。 现在使用较多的管理工具是Scrapyd。 scrapyd是一个爬虫管理服务器,在需要部署爬虫的服务器上安装。 2. scrapyd 2.1. 体系/原理 以向10台服务 阅读全文
posted @ 2018-11-18 17:36 木林森__𣛧 阅读(273) 评论(0) 推荐(0)
摘要: 笔记-python-多环境-virtualenv 1. 多环境 在开发Python应用程序的时候,系统安装的Python3只有一个版本:3.6.4,所有第三方的包都会被pip安装到Python3的site-packages目录下。 如果我们要同时开发多个应用程序,那这些应用程序都会共用一个Pytho 阅读全文
posted @ 2018-11-18 08:57 木林森__𣛧 阅读(126) 评论(0) 推荐(0)