随笔分类 -  scrapy

python - scrapy 爬虫框架 ( redis去重 )
摘要：1. 使用内置，并加以修改 ( 自定义 redis 存储的 keys ) 2. 自定义 阅读全文
posted @ 2019-03-18 13:35 _Q 阅读(1942) 评论(0) 推荐(0)
python - scrapy 爬虫框架 ( 起始url的实现，深度和优先级，下载中间件 )
摘要：1. start_urls -- 起始URL 的内部实现（将迭代器转换为生成器） 2. 深度和优先级 3. 下载中间件 阅读全文
posted @ 2019-03-18 13:19 _Q 阅读(1224) 评论(0) 推荐(0)