2018年5月31日
[scrapy-redis] 将scrapy爬虫改造成分布式爬虫 (2)
摘要： 1. 修改redis设置 redis默认处在protection mode, 修改 , , 或者给redis设置密码， 将 这一行用 注释掉 2. 修改爬虫设置 向 加入以下设置 为master的ip加上redis的端口号 3. 修改爬虫代码 使爬虫继承自RedisSpider 增加一个 属性，这个 阅读全文
posted @ 2018-05-31 20:14 arcsinW 阅读(596) 评论(0) 推荐(0) 编辑