python3爬取女神图片，破解盗链问题
前言
其实，抓取图片和抓取小说内容没有任何本质的区别，步骤都是一样的。
但是图片读取的时候，会遇到一个盗链问题。这个问题是花的解决时间最长的。
环境
语言: python3
操作系统: mac 10.12.16
自定义工具包：soup_tool
其依赖工具如下：
from urllib import request
from urllib.parse import quote
from bs4 import BeautifulSoup
import os
import threading
import re
import ssl
version 0.1 单个网址链接抓取所有特定图片
抓取分析
首先打开单个美女图片集
https://www.nvshens.com/g/24816
可以看到我标注的
使用chrome的检查功能，可以看到当前页有3张我们想要的图片
其中，可以以第二张图片的格式作为模板
只要替换001直到002、003、……、044
再找下图片总共有多少张，看我标注的count就可以了
这样就可以不用分页去抓取了。
至此，基本分析完毕，开始动手吧
动手实战
因为之前爬取小说网站的积累，写了一个工具类，主要就是用了request请求链接，BeautifulSoup解析网页，ssl解决https问题
工具类代码不一一贴出来了，最后会给个本项目github的地址
1.首先是初始化，建立class
class Capture:
引用自定义工具类
from soup_tool import Soup
from soup_tool import MyThread
然后定义初始化的一些参数
def __init__(self):
self.index_page_url = 'http://www.nvshens.com'
# 作品内容主页
self.one_page_url = 'https://www.nvshens.com/g/:key/'
# root folder
self.folder_path = 'nvshens/'
# 每个线程的沉睡时间
self.sleep_time = 2
# 后缀
self.file_hz = '.img'
2.根据key来检索分析图集主页
接着，我们得将本网页的获取做成动态的，将网址
中的24816作为搜索key
定义一个方法 readPageFromSearch
def readPageFromSearch(self, search_key):
"""
根据输入key读取搜索页面
:param search_key:
:return:
"""
方法里，第一个事，先建立个根目录
# 创建文件夹 /nvshens/search_key
path = self.folder_path + search_key
Soup.create_folder(path)
然后打开美女图集第一页，使用soup解析
# 打开搜索页面第1页
page_url = self.one_page_url.replace(':key', search_key)
print(page_url)
soup_html = Soup.get_soup(page_url)
从soup中取到id是dinfo的div，然后找到里面的span，获取其中的文本，再处理掉“张照片”几个字，得到最大图片张数
text_page = soup_html.find("div", {'id': 'dinfo'}).find('span').get_text()
print('text_page', text_page)
last = text_page.replace('张照片', '')
item_size = int(last)
再接着，我们要找到模板，但是第一张照片也不能不管，所以先从第一张获取，我们先看下规律
# 第1张
https://img.onvshen.com:85/gallery/25366/24816/0.jpg
# 第2张
https://img.onvshen.com:85/gallery/25366/24816/001.jpg
# 第3张
ttps://img.onvshen.com:85/gallery/25366/24816/002.jpg
这样，我们应该就知道怎么办了，取到第一张后，使用soup的find_next_sibling方法获取下一个标签节点
# 第1张图片
image_one = soup_html.find("ul", {'id': 'hgallery'}).find('img')
image_one_url = image_one.get('src')
print('image_one_url', image_one_url)
# 第2张图片链接作为模版
image_two = image_one.find_next_sibling()
image_two_url = image_two.get('src')
print('image_two_url', image_two_url)
然后，根据第二章的url，首先用"/"分割，取最右一组数，得到“24816/001.jpg”,在用"."分割，获取后缀，知道是jpg还是png
# https://img.onvshen.com:85/gallery/25366/24816/001.jpg
# 24816/001.jpg
img_hz = image_two_url.split("/")[-1]
# jpg
file_hz = img_hz.split('.')[1]
# https://img.onvshen.com:85/gallery/25366
img_mod_url = image_two_url.replace(img_hz, '')
3.多线程读取图片链接
定义readPageByThread 方法
将前面的
- 最大图片数 item_size
- 文件存放目录 path
- 模板url img_mod_url
- 文件后缀 file_hz
全部作为参数传进来
# 多线程读取，每个图片下载都是一个线程
def readPageByThread(self, item_size, path, img_mod_url, file_hz):
"""
:param item_size: 最大图片数
:param path: 文件存放目录
:param img_mod_url: 模板url
:param file_hz: 文件后缀
:return:
"""
循环 item_size,使用zfill方法左侧补零
# 循环打开图片链接
for item in range(1, item_size):
# 左侧补零 1->001,2->002,……,114->114
page = str(item + 1).zfill(3)
new_page_url = img_mod_url + page + '.' + file_hz
new_path = path + '/' + page + '.' + file_hz
print(new_path, '---', new_page_url)
使用自定义的多线程方法，将本次线程收集起来,参数传进 readPagetoTxt 方法中
t = MyThread(self.readPagetoTxt, (new_page_url, new_path, self.sleep_time), self.readPagetoTxt.__name__)
threads.append(t)
开启线程，并join阻塞
for t in threads:
t.start()
for t in threads:
t.join()
print('all end', ctime())
4.读取图片内容并写入
这是本次图片抓取的重点了，在晚上搜索了很多内容，找到以下方法
urllib.request.urlretrieve
亲测，对于破解盗链没有任何作用
那么，真正的破盗链怎么搞呢？搜到了一个哥们的文章
其中有一段代码是这样的
Headers:map[string]string{
"Referer":"http://www.zngirls.com",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"}})
这heads不只设置了User-Agent,还有Referer,艾？这是啥？我试试
将Referer设置为咱们的index_page_url（http://www.nvshens.com），果然可以了。为什么呢？
原来Referer表示一个来源，代表是从哪个网站请求web服务器的，我们将Referer设置为http://www.nvshens.com，代表的其实是从它自身网站请求访问的。
具体请参考这个哥们的文章什么是HTTP Referer？
当然，这也主要是这个网站的开发人员只用了Referer来作为防盗链的判断，如果不是Referer而是换成别的，那就又要重新破解了。
好了，写我们的代码吧，为head添加个Referer的属性，这Soup_tool类中
_HEAD2 = {
# Referer 抓取哪个网站的图片，添加此头部，可以破解盗链
"Referer": "",
'Accept-language': 'zh-CN,zh;q=0.9'
,
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
@staticmethod
def open_url(query_url, referer=''):
Soup._HEAD2['Referer'] = referer
req = request.Request(quote(query_url, safe='/:?='), headers=Soup._HEAD2)
webpage = request.urlopen(req)
html = webpage.read()
return html
@staticmethod
def write_img(query_url, file_name, referer):
content = Soup.open_url(query_url, referer)
with open(file_name, 'wb') as f:
f.write(content)
回到我们的Capture类：
# 使用Request添加头部的方法，读取图片链接再写入，最重要的是加上Referer
Soup.write_img(page_url, path, referer=self.index_page_url)
后记
还有v0.2、v0.3版本
这是v0.2的分析截图
分析思路是一样的，就不再细说了，自己看源码
看下下载后呈现的效果
最后放出代码链接
参考文献：
