爬取艺龙网站部分酒店信息

一.主题式网络爬虫设计方案
1.主题式网络爬虫名称：爬取艺龙网站泉州酒店信息
2.主题式网络爬虫的内容与数据特征分析：爬取艺龙网站泉州酒店的名称，价格和评分
3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）：
实现思路：本次设计方案主要使用request库爬取网页信息和beautifulSoup库来提取泉州酒店信息，将其存入Excel文件里，并对其进行数据清理，模型分析和数据可视化。
技术难度：对艺龙网站泉州酒店页面分析和信息采集以及数据可视化

二.主题页面的结构特征分析

1.主题'页面的结构与特征分析：通过HTML页面的分析我们可以知道每个酒店的信息都在class="h_list"的子标签中，然后我们所要的信息都在于class="h_info_text"中，接着我们可以利用find_all逐一将需要的信息筛选出来。

2.HTML的页面解析

 

 

 

 

 

 三.网络爬虫程序设计

1.数据爬取与采集

import requests
import pandas as pd
from bs4 import BeautifulSoup

url='http://hotel.elong.com/quanzhou/'
header = {"User-Agent": "huang"}
r = requests.get(url, timeout=30, headers=header)
r.raise_for_status()              # 产生异常信息
r.encoding = r.apparent_encoding  # 修改编码
html = r.text
soup=BeautifulSoup(html,'html.parser')
#创建空列表
name=[]
level=[]
price=[]
hotellist=[]

#酒店名称
for span in soup.find_all("span","info_cn"):
    name.append(span.string)
#酒店评分
for i in soup.find_all("i","t20 c37e"):
    level.append(i.string)
#酒店价格
for span in soup.find_all("span","h_pri_num"):
    price.append(span.string)
print("{:^60}".format("泉州酒店信息"))
print("{:^5}\t{:^20}\t{:^10}\t{:^10}".format("序列","酒店名称","酒店评分","酒店价格"))
#将数据进行整合
for i in range(20):
    print("{:^5}\t{:^20}\t{:^10}\t{:^10}".format(i+1,name[i],level[i],price[i]))
    hotellist.append([i+1,name[i],level[i],price[i]])
#对数据进行保存
df = pd.DataFrame(hotellist,columns = ['序列','酒店名称','酒店评分','酒店价格'])
df.to_excel('艺龙网站泉州酒店信息.xlsx')

 

 

 

 

 

2.对数据进行清洗和处理

(1).删除酒店价格

df=pd.read_excel('艺龙网站泉州酒店信息.xlsx')
df.drop('酒店名称',axis=1,inplace=True)  #删除酒店名称
df.head(20)

 

 

 

 

 

 

 

 

 

 (2).重复值处理

 df.duplicated() #重复值处理 

 

 

 

(3).空值与缺失值处理

a=df['酒店价格'].isnull().value_counts()  #检查是否有空值或缺失值
print(a)

 

 

 (4).异常值处理

df.describe()  #检查是否有异常值

 

 

 

 

 

 3.数据分析与可视化

(1)散点图

#散点图
x = df.酒店价格
y = df.酒店评分
plt.xlabel("酒店价格")
plt.ylabel("酒店评分")
plt.scatter(x,y,color="red",label="散点")
plt.title("酒店价格与酒店评分的散点图")
plt.legend()
plt.show()

 

 

 (2).柱状图（各酒店评分分布）

#柱形图
name_list = df.酒店名称
num_list = df.酒店评分  
plt.barh(range(len(num_list)), num_list,tick_label = name_list)
plt.title("各酒店评分分布")
plt.show()

 

 

 

 

 

 (3).直方图（各酒店价格分布）

#直方图
plt.hist(x = df.酒店价格,
         bins = 20,
         color = 'steelblue',
         edgecolor = 'black'
         )
plt.xlabel('酒店价格')
plt.ylabel('酒店个数')
plt.title("各酒店价格分布")
plt.show()

 

 

 

 

 4.数据之间的关系与相关系数

import numpy as np
import pandas as pd
import seaborn as sns
import sklearn
df=pd.read_excel('艺龙网站泉州酒店信息.xlsx')
df.head(20)
from sklearn.linear_model import LinearRegression
X=df.drop("酒店名称",axis=1)
predict_model=LinearRegression()
predict_model.fit(X,df['酒店价格'])
print("回归系数为:",predict_model.coef_)    #判断相关性
sns.regplot(df.酒店价格,df.序列)

 

 

 5.将代码汇总，附上完整代码

import requests
import pandas as pd
from bs4 import BeautifulSoup

url='http://hotel.elong.com/quanzhou/'
header = {"User-Agent": "huang"}
r = requests.get(url, timeout=30, headers=header)
r.raise_for_status()              # 产生异常信息
r.encoding = r.apparent_encoding  # 修改编码
html = r.text
soup=BeautifulSoup(html,'html.parser')
#创建空列表
name=[]
level=[]
price=[]
hotellist=[]

#酒店名称
for span in soup.find_all("span","info_cn"):
    name.append(span.string)
#酒店评分
for i in soup.find_all("i","t20 c37e"):
    level.append(i.string)
#酒店价格
for span in soup.find_all("span","h_pri_num"):
    price.append(span.string)
print("{:^60}".format("泉州酒店信息"))
print("{:^5}\t{:^20}\t{:^10}\t{:^10}".format("序列","酒店名称","酒店评分","酒店价格"))
#将数据进行整合
for i in range(20):
    print("{:^5}\t{:^20}\t{:^10}\t{:^10}".format(i+1,name[i],level[i],price[i]))
    hotellist.append([i+1,name[i],level[i],price[i]])
#对数据进行保存
df = pd.DataFrame(hotellist,columns = ['序列','酒店名称','酒店评分','酒店价格'])
df.to_excel('艺龙网站泉州酒店信息.xlsx')
#对数据进行读取
import pandas as pd
df=pd.read_excel('艺龙网站泉州酒店信息.xlsx')
print(df)
#对数据进行清洗和处理
#删除酒店价格
df.drop('酒店名称',axis=1,inplace=True)
df.head(20)
#检查是否有重复值
df.duplicated()   
#检查是否有空值或缺失值 
a=df['酒店价格'].isnull().value_counts()  
print(a)
#检查是否有异常值
df.describe()

#对数据分析与可视化
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
df = pd.DataFrame(pd.read_excel('艺龙网站泉州酒店信息.xlsx'))
#散点图
x = df.酒店价格
y = df.酒店评分
plt.xlabel("酒店价格")
plt.ylabel("酒店评分")
plt.scatter(x,y,color="red",label="散点")
plt.title("酒店价格与酒店评分的散点图")
plt.legend()
plt.show()
#柱形图
name_list = df.酒店名称
num_list = df.酒店评分  
plt.barh(range(len(num_list)), num_list,tick_label = name_list)
plt.title("各酒店评分分布")
plt.show()
#直方图
plt.hist(x = df.酒店价格,
         bins = 20,
         color = 'steelblue',
         edgecolor = 'black'
         )
plt.xlabel('酒店价格')
plt.ylabel('酒店个数')
plt.title("各酒店价格分布")
plt.show()

#数据之间的关系与相关系数
import numpy as np
import pandas as pd
import seaborn as sns
import sklearn
df=pd.read_excel('艺龙网站泉州酒店信息.xlsx')
df.head(20)
from sklearn.linear_model import LinearRegression
X=df.drop("酒店名称",axis=1)
predict_model=LinearRegression()
predict_model.fit(X,df['酒店价格'])
print("回归系数为:",predict_model.coef_)    #判断相关性
sns.regplot(df.酒店价格,df.序列)

四.结论

1.经过对主题数据的分析与可视化，我发现酒店的价格跟酒店的评分不相关。

2.通过这次的练习让我懂得了不少知识，也对自己的不足之处更加了解。对于本次的编程对象方面由于没有充足了解，导致其数据可视化方面较少，其相关性不明显，总的方面做的还是有些不足。虽说有些不完美，但还是收获了不少，对Python越来越感兴趣，希望今后能学到更多方面的知识提升自己的不足。