马蜂窝泉州热门景点分析
一、1.主题式网络爬虫名称：马蜂窝泉州热门景点分析
2.主题式网络爬虫爬取的内容与数据特征分析：爬取马蜂窝泉州热门景点信息，提取景点名字和蜂评数进行数据分析。
3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）：request发送请求，BeautifulSoup解析html网页获取所需信息，进行数据清洗，画出景点名称与蜂评数的柱状图，创立方程画出散点图。（最后画不出拟合曲线也许是数据采取过少或者错误）
二、主题页面的结构特征分析
1.主题页面的结构与特征分析
所需要获取的数据位置
2.Htmls页面解析
查看标签景点名称发现标题在p class=’title’下，蜂评数在font 标签下
3.节点（标签）查找方法与遍历方法
->
->
->
->
->-
>
三、网络爬虫程序设计
爬虫程序主体要包括以下各部分，要附源代码及较详细注释，并在每部分程序后面提供输出结果的截图。
1.数据爬取与采集
def get(url,list,num): #定义一个获取信息函数 headers = {'user-agent':'Mo+zilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11'} #伪装爬虫 不然无法爬取网页信息 r = requests.get(url,timeout = 30,headers=headers) #发送请求 时间为30s r.raise_for_status() r.encoding = r.apparent_encoding soup = BeautifulSoup(r.text,"html.parser") #html编译器 list1 = [] list2 = [] #创建两个列表存放景点名字和蜂评数的信息 list1 = soup.find_all('p',class_='title') #寻找标签为p的数据 list2 = soup.find_all('font',color="#474747") #寻找标签为font，color="#474747"的数据 print("{:^10}\t{:^30}\t{:^10}\t".format('排名','景点名字','蜂评数')) for i in range(num): list.append([i+1,list1[i].string,list2[i].string]) print("{:^10}\t{:^30}\t{:^10}\t".format(i+1,list1[i].string,list2[i].string)) #将数据添加入list数组中
2.对数据进行清洗和处理
def check_file(file_path): quanzhou = pd.DataFrame(pd.read_excel('D:\python\quanzhou.xlsx')) print('\n====各列的空值情况如下：====') print(quanzhou.isnull()) #统计空值情况 print(quanzhou.duplicated()) #查找重复值 print(quanzhou.isna().head()) #统计缺失值 # 得出结果为False则不为空值 print(quanzhou.describe()) #描述数据
空值：
重复值：
缺失值：
describe：
4.数据分析与可视化（例如：数据柱形图、直方图、散点图、盒图、分布图）
1 def chart(): 2 plt.rcParams['font.sans-serif']=['SimHei'] #设置字体 3 4 filename = 'D:\python\quanzhou.xlsx' 5 colnames=['排名','景点名字','蜂评数'] 6 df = pd.read_excel(filename) 7 8 X=df.loc[1:8,'景点名字'] 9 Y=df.loc[1:8,'蜂评数'] 10 11 plt.bar(X,Y) 12 plt.title("泉州热门景点柱状图") 13 plt.show
5.根据数据之间的关系，分析两个变量之间的相关系数，画出散点图，并建立变量之间的回归方程（一元或多元。
1 def chart2(): 2 plt.rcParams['font.sans-serif'] = ['SimHei'] 3 4 df = pd.read_excel('D:\python\quanzhou.xlsx') 5 6 X=df.loc[1:8,'排名'] #用排名1到8来代表景点名字 7 Y=df.loc[1:8,'蜂评数'] 8 9 def func(p,x): #建立一元二次函数 10 a,b,c = p 11 return a * x * x + b * x + c 12 def error(p,x,y): 13 return func(p,x)- y 14 15 plt.figure() 16 p0=[1,1,1] 17 P = leastsq(error,p0,args=(X,Y)) 18 a,b,c = P[0] 19 print("a=",a,"b=",b,"c=",c) 20 21 plt.scatter(X,Y,color="green",label="样本数据",linewidth = 2) 22 23 x = np.linspace(1,8,1) 24 y = a * x * x + b * x + c 25 26 plt.plot(x,y,color="red",label="拟合曲线",linewidth = 2) 27 plt.legend() 28 plt.title("泉州最受欢迎的景点") 29 plt.grid() 30 plt.show()
#用数字1-8来代表景点1-8位。
#可能是爬取的数据太少或者是不正确无法画出拟合曲线，实在找不出错误。
abc系数的值：
1 print(quanzhou.corr()) #两个变量的相关系数
6.数据持久化
1 def create_file(file_path,msg): #定义一个创建文件夹,将爬取的资源用excel格式打开 2 view =r'D:\python\quanzhou.xlsx' 3 df = pd.DataFrame(msg,columns=['排名','景点名字','蜂评数']) 4 df.to_excel(view) 5 print('创建excel完成')
7.将以上各部分的代码汇总，附上完整程序代码
1 import requests 2 from bs4 import BeautifulSoup 3 import pandas as pd 4 import numpy as np 5 import scipy as sp 6 from numpy import genfromtxt 7 import matplotlib 8 from pandas import DataFrame 9 import matplotlib.pyplot as plt 10 from scipy.optimize import leastsq 11 12 def get(url,list,num): #定义一个获取信息函数 13 headers = {'user-agent':'Mo+zilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11'} #伪装爬虫 不然无法爬取网页信息 14 15 r = requests.get(url,timeout = 30,headers=headers) #发送请求 时间为30s 16 17 r.raise_for_status() 18 r.encoding = r.apparent_encoding 19 20 soup = BeautifulSoup(r.text,"html.parser") 21 22 list1 = [] 23 list2 = [] #创建两个列表存放景点名字和蜂评数的信息 24 25 list1 = soup.find_all('p',class_='title') #寻找标签为p的数据 26 list2 = soup.find_all('font',color="#474747") #寻找标签为font，color="#474747"的数据 27 28 print("{:^10}\t{:^30}\t{:^10}\t".format('排名','景点名字','蜂评数')) 29 30 for i in range(num): 31 list.append([i+1,list1[i].string,list2[i].string]) 32 print("{:^10}\t{:^30}\t{:^10}\t".format(i+1,list1[i].string,list2[i].string)) #将数据添加入list数组中 33 34 def create_file(file_path,msg): #定义一个创建文件夹,将爬取的资源用excel格式打开 35 view =r'D:\python\quanzhou.xlsx' 36 df = pd.DataFrame(msg,columns=['排名','景点名字','蜂评数']) 37 df.to_excel(view) 38 print('创建excel完成') 39 40 def check_file(file_path): 41 quanzhou = pd.DataFrame(pd.read_excel('D:\python\quanzhou.xlsx')) 42 print('\n====各列的空值情况如下：====') 43 print(quanzhou.isnull()) #统计空值情况 44 print(quanzhou.duplicated()) #查找重复值 45 print(quanzhou.isna().head()) #统计缺失值 # 得出结果为False则不为空值 46 47 print(quanzhou.corr()) #两个变量的相关系数 48 print(quanzhou.describe()) #打印出数据 49 50 def chart(): 51 plt.rcParams['font.sans-serif']=['SimHei'] #设置字体 52 53 filename = 'D:\python\quanzhou.xlsx' 54 colnames=['排名','景点名字','蜂评数'] 55 df = pd.read_excel(filename) 56 57 X=df.loc[1:8,'景点名字'] 58 Y=df.loc[1:8,'蜂评数'] 59 60 plt.bar(X,Y) 61 plt.title("泉州热门景点柱状图") 62 plt.show 63 64 def chart2(): 65 plt.rcParams['font.sans-serif'] = ['SimHei'] 66 67 df = pd.read_excel('D:\python\quanzhou.xlsx') 68 69 X=df.loc[1:8,'排名'] #用排名1到8来代表景点名字 70 Y=df.loc[1:8,'蜂评数'] 71 72 def func(p,x): #建立一元二次函数 73 a,b,c = p 74 return a * x * x + b * x + c 75 def error(p,x,y): 76 return func(p,x)- y 77 78 plt.figure() 79 p0=[1,1,1] 80 P = leastsq(error,p0,args=(X,Y)) 81 a,b,c = P[0] 82 print("a=",a,"b=",b,"c=",c) 83 84 plt.scatter(X,Y,color="green",label="样本数据",linewidth = 2) 85 86 x = np.linspace(1,8,1) 87 y = a * x * x + b * x + c 88 89 plt.plot(x,y,color="red",label="拟合曲线",linewidth = 2) 90 plt.legend() 91 plt.title("泉州最受欢迎的景点") 92 plt.grid() 93 plt.show() 94 95 def main(): 96 list = [] 97 url = "http://www.mafengwo.cn/search/q.php?q=%E6%B3%89%E5%B7%9E" 98 get(url,list,8) 99 create_file('D:\python\quanzhou.xlsx',list) 100 check_file('D:\python\quanzhou.xlsx') 101 chart() 102 chart2() 103 104 main()
四、结论
1.经过对主题数据的分析与可视化，可以得到哪些结论？
在马蜂窝景点排行前八个中泉州开元寺最受游客欢迎。
2.对本次程序设计任务完成的情况做一个简单的小结。
懂得太少，这次程序作业应该完成了所给的任务。仍然还有一些错误，找不出解决方法，所取的数据过少导致无法画出拟合曲线，在这过程中也发现一些错误，list[]重置了输入的数据导致写入excel中为空数据。
