随笔分类 - 爬虫

绕过淘宝反爬虫，爬取店铺信息和宝贝信息

摘要：需求是利用爬虫抓取店铺所有商品并下载商品详细页所有图片，随机挑选店铺链接分析。但是在实现的过程中遇到各种困难，用selenium，requests利用多种方式都没有绕过。最后使用淘宝开发者API来实现调取店铺所有宝贝列表，但是API是付费的，所以在详细页使用requests来实现，但是reques 阅读全文

posted @ 2020-09-09 21:55 功夫小熊猫阅读(13187) 评论(12) 推荐(3)