2018年8月29日
Python - 字符串为多行时，转换为列表
摘要： 例如一个IP代理池，这是个字符串，有多行 120.236.137.65:8060 193.112.208.216:8118 121.8.98.198:80 121.8.98.197:80 121.8.98.196:80 120.236.168.19:8060 123.207.6.117:80 阅读全文
posted @ 2018-08-29 23:56 Rocin 阅读(5420) 评论(0) 推荐(0) 编辑
爬虫 - Scrapy中间件
摘要： 前提：看Scrapy架构图 不管什么Middlewares，都写在middlewares.py里面。 然后在settings.py里的DOWNLOADER_MIDDLEWARES或者SPIDER_MIDDLEWARES里面再设置中间件，这样中间件才细分为下载器中间件还是爬取中间件。 阅读全文
posted @ 2018-08-29 10:17 Rocin 阅读(138) 评论(0) 推荐(0) 编辑