2021年1月29日
scrapy-redis非多网址采集的使用
摘要： 问题描述 默认RedisSpider在启动时，首先会读取redis中的spidername:start_urls，如果有值则根据url构建request对象。 现在的要求是，根据特定关键词采集。 例如：目标站点有一个接口，根据post请求参数来返回结果。 那么，在这种情况下，构建request主要的 阅读全文
posted @ 2021-01-29 15:07 mkdir700 阅读(387) 评论(0) 推荐(0)
scrapy-redis非多网址采集的使用
摘要： 问题描述 默认RedisSpider在启动时，首先会读取redis中的spidername:start_urls，如果有值则根据url构建request对象。 现在的要求是，根据特定关键词采集。 例如：目标站点有一个接口，根据post请求参数来返回结果。 那么，在这种情况下，构建request主要的 阅读全文
posted @ 2021-01-29 15:02 mkdir700 阅读(87) 评论(0) 推荐(0)