python爬取图片
1.导入需要的模块requests，BeautifulSoup，os（用于文件读写）。
2.创建一个类，并初始化。
|
1
2
3
4
5
6
7
8
|
class BeautifulPicture: def __init__(self): # 类的初始化操作 self.headers = { # 给请求指定一个请求头来模拟chrome浏览器 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)' ' AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'} self.web_url = 'url' # 要访问的网页地址 self.folder_path = 'E:\\1\\pic' # 设置图片要存放的文件目录 |
3.先请求图片所在的网页，返回网页response
|
1
2
3
|
def request(self, url): # 返回网页response r = requests.get(url, self.headers) # 向目标url地址发送get请求，返回一个response对象 return r |
调用request方法，print(r.text)就可以看到控制台上print出的网页源码了。
4.通过BeautifulSoup工具获取需要抓取的img标签，这里根据不同的网页布局css选择器也会有不同：
|
1
2
3
4
5
6
|
def get_pic(self): r = self.request(self.web_url) all_item = BeautifulSoup(r.text, 'html.parser').select(".search_results > .item") for item in all_item: img = item.find('a').find('img') url = img['src'] |
此处，我是先抓取img所在的div（类名为item），再获取div下的a链接下的img，网页具体代码格式为
|
1
2
3
4
5
6
7
8
|
<div class="flex_grid credits search_results" style="margin:4px 14px 0 15px"> <div class="item" data-w="640" data-h="256"> <a href=""> <img srcset="" src="" alt=""> </a> </div> ......</div> |
通过遍历可以获取所有图片的链接。
5.获取到图片地址链接后，就可以下载图片并保存到本地了。那么就需要确认初始化定义的文件夹是否存在，如果不存在，需要创建。
|
1
2
3
4
5
6
7
8
9
|
def mkdir(self, path): # 创建文件夹 path = path.strip() is_exists = os.path.exists(path) if not is_exists: print('创建名字叫做', path, '的文件夹') os.makedirs(path) print('创建成功！') else: print(path, '文件夹已经存在了，不再创建') |
6.接下来就可以保存图片了。
第四步操作，在get_pic方法中，获取到所有图片所在的div标签后，先确保存放图片的文件下是否存在，调用方法
self.mkdir(self.folder_path) # 创建文件夹
os.chdir(self.folder_path) # 切换路径至上面创建的文件夹
遍历所有的div，根据url名中jpg/png的不同，决定保存图片的后缀名
|
1
2
3
4
5
6
7
8
9
|
i = 1 # 后面用来给图片命名for item in all_item: img = item.find('a').find('img') url = img['src'] if url.count('jpg') > 0: self.save_img(url, str(i) + '.jpg') elif url.count('png') > 0: self.save_img(url, str(i) + '.png') i += 1 |
其中save_img方法为：
|
1
2
3
4
5
6
|
def save_img(self, url, name): # 保存图片 img = self.request(url) f = open(name, 'ab') f.write(img.content) print(name, '文件保存成功！') f.close() |
创建MyBeautifulPicture类的实例，调用get_pic方法，至此，保存图片到本地就可以实现了。
完整的get_pic方法为：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
def get_pic(self): r = self.request(self.web_url) all_item = BeautifulSoup(r.text, 'html.parser').select(".search_results > .item") self.mkdir(self.folder_path) # 创建文件夹 os.chdir(self.folder_path) # 切换路径至上面创建的文件夹 i = 1 # 后面用来给图片命名 for item in all_item: img = item.find('a').find('img') url = img['src'] # print(url) if url.count('jpg') > 0: self.save_img(url, str(i) + '.jpg') elif url.count('png') > 0: self.save_img(url, str(i) + '.png') i += 1 |
