2019年1月9日
scrapy-redis使用详解
摘要： 描述： 1.使用两台机器，一台是win10，一台是centos7，分别在两台机器上部署scrapy来进行分布式抓取一个网站 2.centos7的ip地址为192.168.1.112，用来作为redis的master端，win10的机器作为slave 3.master的爬虫运行时会把提取到的url封装 阅读全文
posted @ 2019-01-09 05:49 孙大花 阅读(278) 评论(0) 推荐(0) 编辑