【爬虫】【原创】pyspider抓取宅男女神美女图片

 

灵感来源：

https://zhuanlan.zhihu.com/p/31421316

抓取页面：

https://www.nvshens.com/tag/new/

页面分析：

1. 首页获取所有图片详情页，需要遍历15页

   

    

2. 获取得到图片详情页后，需要获取图片集链接

　　3. 得到图片集链接后，需要获取图片真实地址，需要对所有图片页进行遍历

 

函数设计：

1. 调用以下2个得到所有详情页的url

 

 

2. 调用以下函数得到图片集地址

 

3. 调用以下函数得到图片真实地址并保存，由于有多页，所以需要回调自身

 

代码地址： https://github.com/copywang/spiders_collection/tree/master/pyspider

 

抓取效果：