用python爬取一个美女桌面网站上的所有桌面

 

 爬取的就是这个美女桌面了，只是写的有很大缺点：

第一，没有防反爬机制，因为就是练手玩玩看；

第二，没有设置for循环或者递归点击下一页的机制，也就是这个网站一旦更新，就要手动改它的末尾值，因为我懒，而且就随便玩玩。

代码如下：

import threading
import urllib
import requests
import time
from concurrent import futures

header = {
    'Referer': 'http://www.netbian.com/skin/style.css',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',

}
def download_img(src,filename):
    img = requests.get(src, headers=header)  # Referer  img是图片，不能用字符串保存
    with open('imgs/' + filename, 'wb') as file:
        file.write(img.content)  # img是图片响应，img.content是图片的字节，不要使用text
    print("已爬取第", pageID, "页的", src)

for pageID in range(1,164):
    time.sleep(0.7)
    if(pageID==1):
        url = 'http://www.netbian.com/meinv/index.htm'
    else:
        url = 'http://www.netbian.com/meinv/index'+'_'+str(pageID)+".htm"

    #获取相应
    resp=requests.get(url,headers=header)
    #print(resp.encoding)
    resp.encoding='gbk'
    #print(resp.encoding)
    #print(resp.text)

    #解析响应
    from lxml import etree
    html=etree.HTML(resp.text)
    srcs=html.xpath('//*[@id="main"]/div[3]/ul/li/a/img/@src')
    #print("开始输出")
    ex = futures.ThreadPoolExecutor(max_workers=40)
    for src in srcs:
        filename=src.split('/')[-1]
        ex.submit(download_img,src,filename)
        #print(src)
        #print(filename)
        #download_img(src,filename)

 

最后下载下来，你懂的，一共三千多张图：