淘宝爬取图片和url

刚开始爬取了 百度图片和搜狗图片

但是图片不是很多,随后继续爬取淘宝图片,但是淘宝反爬比较厉害 之前的方法不能用

记录可行的 淘宝爬取 利用selenium爬取

https://cloud.tencent.com/developer/article/1151774

github

https://github.com/Python3WebSpider/TaobaoProduct

(需要修改代码,自己扫码登陆 继续爬)看issues

注意:爬多了 肯能出现滑块验证 使用开发者模式避免

利用pyquery进行搜索   就不需要正则表达式了

使用方法

https://www.cnblogs.com/gj5379/p/8514535.html

posted @ 2019-11-21 11:29  剑峰随心  阅读(1390)  评论(0编辑  收藏  举报