2019年6月9日
scrapy中间件中使用selenium切换ip
摘要： scrapy抓取一些需要js加载页面时一般要么是通过接口直接获取数据,要么是js加载,但是我通过selenium也可以获取动态页面 但是有个问题,容易给反爬,因为在scrapy中间件mid中使用selenium的ip不会跟着你在中间件中切换的ip变化,还是使用本机的ip在访问网站, 这里通过 确定网 阅读全文
posted @ 2019-06-09 21:55 花名k 阅读(1272) 评论(0) 推荐(0)