scrapy 随即user 和IP注意事项 小细节
DOWNLOADER_MIDDLEWARES = { 'item_u9c9.middlewares.NovelUserAgentMiddleWare': 544, #随即user 'item_u9c9.middlewares.NovelProxyMiddleWare': 543,#随即IP ImagesRename 换成自己的 } ITEM_PIPELINES = { 'item_u9c9.inputMongodbPipeline.InputmongodbPipeline': 1, } #这个不要要在上面,这条应该在最后面不然不会随即,直接执行这条抓取到数据到数据库了。
还有细节IP.txt 应该放在 scrapy.cfg 同目录。
如果人生还有重来,那就不叫人生。

浙公网安备 33010602011771号