scrapy 随即user 和IP注意事项 小细节

DOWNLOADER_MIDDLEWARES = {

   'item_u9c9.middlewares.NovelUserAgentMiddleWare': 544, #随即user
   'item_u9c9.middlewares.NovelProxyMiddleWare': 543,#随即IP  ImagesRename 换成自己的
}
ITEM_PIPELINES = {
   'item_u9c9.inputMongodbPipeline.InputmongodbPipeline': 1,
}  #这个不要要在上面,这条应该在最后面不然不会随即,直接执行这条抓取到数据到数据库了。

 还有细节IP.txt 应该放在  scrapy.cfg  同目录。

posted @ 2020-09-14 10:15  凹凸曼大人  阅读(173)  评论(0)    收藏  举报