Fork me on github
2020年4月13日
scrapy框架修改下载器中间件，添加IP代理池
摘要： IP代理池： - 作用：尽可能多的将scrapy工程中的请求的IP设置成不同的。 - 操作流程： 1.在下载中间件中拦截请求 2.将拦截到的请求的IP修改成某一代理IP 3.在配置文件中开启下载中间件 View Code 然后在settings.py中，将下载器中间件打开： DOWNLOADER_M 阅读全文
posted @ 2020-04-13 15:57 Debug_Man 阅读(490) 评论(0) 推荐(0)
Live2D