Python爬取猎聘网的数据进行分析

前言：

一、选题的背景　

　　近年来，越来越多的年轻人在寻找工作这个方面呢的事情上会出现各种问题，而好的工作非常难找，差的工作很多年轻人也不想做，所以我选择做一份数据分析一下招聘网站上各个工作的情况。

二、项目目标分析

　　本项目是对猎聘网的数据进行爬取分析,主要分析的目标是招聘信息，学历要求等；

　　分析在猎聘网中寻找的工作招聘信息，薪资以及其他福利待遇，以及对求职者的学历要求要多高进行分析。

三、网络爬虫设计方案

（1）爬虫名称：爬取猎聘网的数据进行分析　　

参考书籍：

1. 《Python3网络爬虫开发实战》-崔庆才
2. 《Python数据可视化》-Kirthi Raman
3. 《深入浅出MySQL》

参考文档：

1. python 3.6官方文档；
2. Requests:让HTTP服务人类；
3. Beautiful Soup documentation；
4. pyecharts；

四、python爬虫抓取IT类招聘信息的实现

2.1、代码

mport requests
import lxml
import re
import pymysql
from bs4 import BeautifulSoup
from multiprocessing import Pool

def getTableName(ID):
"""
有些分类标识符ID中带有MySql数据库表名不支持的符号，该函数返回合法表名
"""
replaceDict={
"Node.JS":"NodeJS",
".NET":"NET",
"C#":"CC",
"C++":"CPP",
"COCOS2D-X":"COCOS2DX"
}
if ID in replaceDict:
return replaceDict[ID]
else:
return ID

def parseWage(wage):
"""
该函数实现了解析工资字符串wage，如果是'面议'或者其它则返回列表[0,0](代表工资面议）,否则返回
相应工资（数值类型,单位为万)
"""
parsedResult=re.findall('(.*?)-(.*?)万.*?',wage,re.S)
if not parsedResult:
return [0,0]
else:
return [parsedResult[0][0],parsedResult[0][1]]


"""
该函数实现判断某一个表是否在数据库方案里存在，存在返回True，不存在返回False
"""
sql = "show tables;"
cursor.execute(sql)
tables = [cursor.fetchall()]
table_list = re.findall('(\'.*?\')',str(tables))
table_list = [re.sub("'",'',each) for each in table_list]
if table_name in table_list:
return True
else:
return False
def isUrlValid(url):
"""
由于在爬虫运行过程中发现有些类别招聘信息中含有的详细招聘信息的入口地址在获取响应的时候会抛出Missing Schema异常，
发现是url中有些是.../job/...（往往是猎聘网自己发布的招聘信息），有些是.../a/...（这类招聘信息通常是代理发布），
导致无法解析，从而使爬虫运行到此处时停止抓取数据。
该函数实现对代理发布的URL进行过滤，若为代理发布的信息，则跳过该条招聘信息，函数返回False,否则返回True。
"""
isValid=re.search('.*?www\.liepin\.com/job/.*?$',url,re.S)
if isValid:
return True
else:
return False

def getPageHtml(url,headers=None):
"""
返回服务器响应页面的html,不成功返回None
"""
if not headers:
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36",
}

try:
response=requests.get(url,headers=headers)
if response.status_code==200:
return response.text
else:
return None
except requests.RequestException as e:
#debug
print('Exception occur in funciton getPageHtml()')

return None
def getEntry(html):
"""
解析Html,该函数为生成器类型，每一次迭代返回某一子项目的入口地址URL和description组成的字典entry
"""

if not html:
#html为None则返回None，无法从该html中解析出子项目入口地址
#debug
print('html is None in function getEntry()')
return None

soup=BeautifulSoup(html,'lxml')
for items in soup.find_all(name='li'):
for item in items.find_all(name='dd'):
for usefulURL in item.find_all(name='a',attrs={"target":"_blank","rel":"nofollow"}):
yield{
"URL":'https://www.liepin.com'+usefulURL.attrs['href'],
"URL_Description":usefulURL.text
}


def getCountryEntry(entry):
"""
entry为子项目地址URL和描述URL_Description组成的字典,该函数实现了从子项目页面信息中获取响应，并
且最终返回全国子项目地址CountryURL和CountryURLDescription(实际上就是URL_Description)组成的字典
"""

if not entry:
#debug
print('ERROR in function getCountryEntry:entry is None')
return None

headers={
"Host":"www.liepin.com",
"Referer":"https://www.liepin.com/it/",
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}

countryHtml=getPageHtml(entry['URL'],headers=headers)
soup=BeautifulSoup(countryHtml,'lxml')
citiesInfo=soup.find(name='dd',attrs={"data-param":"city"})

if not citiesInfo:
#debug
print('ERROR in function getCountryEntry():citiesInfo is None.')
return None

db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='spider')
cursor=db.cursor()
if not table_exists(cursor,entry['URL_Description']):
createTableSql="""CREATE TABLE IF NOT EXISTS spider.{} like spider.positiondescription;""".format(getTableName(entry['URL_Description']))
try:
cursor.execute(createTableSql)
print('--------------create table %s--------------------' % (entry['URL_Description']))
except:
print('error in function getCountryEntry():create table failed.')
finally:
db.close()



return {
"CountryURL":"https://www.liepin.com"+citiesInfo.find(name='a',attrs={"rel":"nofollow"}).attrs['href'],
"CountryURLDescription":entry['URL_Description']
}

def getCountryEmployeeInfo(CountryEntry):
"""
CountryEntry是getCountryEntry函数返回的由全国招聘信息CountryURL和地址分类描述
CountryURLDescription构成的字典,该函数提取出想要的信息
"""

if not CountryEntry:
#debug
print('ERROR in function getCountryEmpolyeeInfo():CountryEntry is None.')
return None

db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='spider')
cursor=db.cursor()

indexOfPage=0
theMaxLength=0

#遍历该类招聘信息的每一页
while indexOfPage<=theMaxLength:
URL=CountryEntry['CountryURL']+'&curPage='+str(indexOfPage)
pageHtml=getPageHtml(URL)
soup=BeautifulSoup(pageHtml,'lxml')

#提取出该类招聘信息总共的页数,仅需要提取一次即可
if indexOfPage==0:
prepareReString=soup.find(name='a',attrs={"class":"go","href":"javascript:;"}).attrs['onclick']
pattern=re.compile('Math\.min\(Math\.max\(\$pn,\s\d\),(.*?)\)')
theMaxLength=int(re.findall(pattern,prepareReString)[0])

#debug，检测访问到第几页
print('Accessing page {} of {}'.format(indexOfPage,CountryEntry['CountryURLDescription']))
#进入下一页
indexOfPage+=1

"""
这里代码实现对信息的有效信息的提取
"""
for detailedDescriptionURL in getDetailedDescriptionURL(soup):
#如果详细招聘信息入口URL是代理发布（即无效，这里不爬取这类信息），则跳过该条招聘信息
if not isUrlValid(detailedDescriptionURL):
continue
detailedDescriptionHtml=getPageHtml(detailedDescriptionURL)
#将分区标识符（例如java、php等）添加进返回的字典
result=detailedInformation(detailedDescriptionHtml)
result['ID']=CountryEntry['CountryURLDescription']
"""
if 'ID' in result:
print(type(result['ID']),'>>>',result)
"""
if result['Available']:
#获取工资最小值和最大值
min_max=parseWage(result['wage'])
#有些公司没有福利tag
reallyTag=''
if not result['tag']:
reallyTag='无'
else:
reallyTag=result['tag']

insertSql="""insert into spider.{} values(0,'{}','{}','{}',{},{},'{}','{}','{}','{}','{}','{}','{}');""".format(getTableName(result['ID']),result['position'],result['company'],result['wage'],min_max[0],min_max[1],result['education'],result['workExperience'],result['language'],result['age'],result['description'],reallyTag,result['workPlace'])

try:
cursor.execute(insertSql)
db.commit()
except:
db.rollback()
#debug
print('ERROR in function getCountryEmployeeInfo():execute sql failed.')
#爬取完该类招聘信息之后关闭数据库连接
db.close()

def getDetailedDescriptionURL(soup):
"""
soup为全国招聘信息列表页面解析的BeautifulSoup对象，该函数为生成器，每一次迭代产生一条招聘信息
详细内容的URL字符串
"""
if not soup:
#debug
print('ERROR in function getDetailedDescroption():soup is None.')
return None

for item in soup.find_all(name='div',attrs={"class":"job-info"}):
detailedDescriptionURL=item.find(name='a',attrs={"target":"_blank"}).attrs['href']
yield detailedDescriptionURL


def detailedInformation(detailedDescriptionHtml):
"""
该函数实现对具体的一条详细招聘信息的提取，detailedDescriptionHtml为一条详细招聘信息网页的
HTML,该函数返回值为职位具体要求构成的字典positionDescription
"""
if not detailedDescriptionHtml:
#debug
print('ERROR in function detailedInformation():detailedDescriptionHtml is None.')
return None

soup=BeautifulSoup(detailedDescriptionHtml,'lxml')

#提取出招聘职位和公司，类型为str
positionItem=soup.find(name='div',attrs={"class":"title-info"})
#有时候招聘信息被删除了但是招聘信息的入口仍然留在招聘列表中，这里就是防止这种情况导致运行失败
if not positionItem:
return {
'Available':False
}
position=positionItem.h1.text
company=soup.find(name='div',attrs={"class":"title-info"}).a.text

#提取出工资水平（类型为str,有些是面议）、工作地点、学历要求、工作经验、语言要求和年龄要求
items=soup.find(name='div',attrs={"class":"job-title-left"})
wage=items.find(name='p',attrs={"class":"job-item-title"}).text.split('\r')[0]
workPlace=items.find(name='a')
#有些工作地点在国外，该网站不提供该地区招聘信息的网页，没有标签a,这里就是处理这样的异常情况
if not workPlace:
workPlace=items.find(name='p',attrs={"class":"basic-infor"}).span.text.strip()
else:
workPlace=workPlace.text

#这里返回一个大小为4的列表，分别对应学历要求、工作经验、语言要求、年龄要求
allFourNec=items.find(name='div',attrs={"class":"job-qualifications"}).find_all(name='span')

#有些招聘信息中带有公司包含的福利tag，这里也提取出来,所有tag组成一个由-分隔的字符串,没有则为空字符串
tagItems=soup.find(name='ul',attrs={"class":"comp-tag-list clearfix","data-selector":"comp-tag-list"})
tags=''
if tagItems:
tempTags=[]
for tag in tagItems.find_all(name='span'):
tempTags.append(tag.text)
tags='-'.join(tempTags)

#提取出详细的职位技能要求
descriptionItems=soup.find(name='div',attrs={"class":"job-item main-message job-description"})
description=descriptionItems.find(name='div',attrs={"class":"content content-word"}).text.strip()

positionDescription={
"Available":True,
"position":position,
"company":company,
"wage":wage,
"workPlace":workPlace,
"education":allFourNec[0].text,
"workExperience":allFourNec[1].text,
"language":allFourNec[2].text,
"age":allFourNec[3].text,
"tag":tags,
"description":description,
}

return positionDescription
if __name__=="__main__":
startURL='https://www.liepin.com/it/'
startHtml=getPageHtml(startURL)

#多进程抓取数据
pool=Pool(4)
for entry in getEntry(startHtml):
countryEntry=getCountryEntry(entry)
pool.apply_async(getCountryEmployeeInfo,args=(countryEntry,))
pool.close()
pool.join()
print('All subprocesses done.')

2.2 代码的部分补充说明

2.2.1 getEntry(html)

　　爬虫初始入口地址startURL对应于猎聘网下图所示的页面

　　在该页面对应于代码中的函数getEntry(html)，下面是子项目入口地址于HTML中所在的位置：

2.2.2 getCountryEntry(entry)

　　对应于如下页面：

　　不仅仅只抓取当前地区，需要抓取全国的招聘信息，因此要进入全国招聘信息的URL，位置如下所示：

　　第一条href即为全国的入口URL。

　　除此之外在该函数中还根据每一个招聘信息子分类创建了各自的表，由于有些分类名中含有MySQL数据库表名不支持的特殊符号，所以函数getTableName(ID)功能就是根据分类名ID返回合法表名。

2.2.3 getCountryEmployeeInfo(CountryEntry)

　　对应如下页面：

　　在该页面可以抓取到每一条招聘信息详细信息的入口地址URL，以及该分类（在上图中就是Java）中总页面数量：

　　招聘信息详细信息的入口地址URL位置如下所示：

 

 

 

 　　总页面数所在位置如下所示（即div class="pager"那一个标签中）：

2.2.4 detailedInformation(detailedDescriptionHtml)

　　对应于如下所示的页面结构：

　　具体在该页面上抓取的信息所在位置在函数detailedInformation(detailedDescriptionHtml)中表示得很明白。

五、数据库部分

　　在上面给出的代码中，在函数getCountryEntry中对每一类招聘信息都在数据库spider中（spider是我事先已经建立好的一个schema）建立了相应的表，其中有一个positionDescription表是我在抓取前建立的一个模板表，目的是为了便于各分类表的创建，各分类表的结构都和positionDescription表一样，其字段类型如下所示：

 

　　然后抓取之后就会生成各分类的表，这些表的结构和positionDescription表结构完全一样，例如（未完全显示）：

 

 

六、数据可视化的实现

6.1 直方图

6.1.1 各分类招聘信息数量直方图

import matplotlib.pyplot as plt
import matplotlib
import pymysql
 
def drawPic():
    db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='spider')
    cursor=db.cursor()
 
    try:
        cursor.execute("select table_name as 表名,table_rows from information_schema.tables where table_schema='spider' order by table_rows desc;")
        results=cursor.fetchall()
        #print(results)
        tags=[]
        amount=[]
        for item in results:
            if item[1]:
                tags.append(item[0])
                amount.append(item[1])
    
        
    except:
        print('failed')
    db.close()
 
    #解决中文显示乱码问题
    plt.rcParams['font.sans-serif']=['FangSong']
    plt.rcParams['axes.unicode_minus']=False
 
    plt.barh(range(len(tags)),amount,height=0.7,color='steelblue',alpha=0.8)
    plt.yticks(range(len(tags)),tags)
    plt.xlim(min(amount)-10,max(amount)+100)
    plt.xlabel("招聘信息数量")
    plt.title("各分类招聘信息数量")
    for x,y in enumerate(amount):
        plt.text(y+1,x-0.4,'%s' % y)
    plt.show()
 
if __name__=='__main__':
    drawPic()

　　效果如下所示：

6.2 圆饼图

6.2.1 按照学历要求分类绘制圆饼图

代码如下：

import matplotlib.pyplot as plt
import matplotlib
import pymysql
 
#根据学历要求绘制圆饼图
def drawPic():
    plt.rcParams['font.sans-serif']=['FangSong']
    plt.rcParams['axes.unicode_minus']=False
 
    labels='本科及以上','大专及以上','统招本科','学历不限','其它'
    sizes=[39519/79380*100,16726/79380*100,15844/79380*100,5781/79380*100,(1102+211+197)/79380*100]
    explode=(0.1,0,0,0,0)
 
    fig1,ax1=plt.subplots()
    ax1.pie(sizes,explode=explode,labels=labels,autopct='%1.1f%%',shadow=True,startangle=90)
    ax1.axis('equal')
    ax1.set_title('招聘信息学历要求占比')
 
    plt.show()

　　效果如下所示：