爬取百度热搜榜以及数据分析
一、选题的背景
目前互联网发达，各种搜索引擎各有千秋，对百度热搜的分析，可以直观地看出每个热点之间的差距，得出热点关系之间的联系，以及热点关键词的关系.
二、主题式网络爬虫设计方案
1.主题式网络爬虫名称
《python爬虫之爬取百度热搜榜》
2.主题式网络爬虫爬取的内容与数据特征分析
爬取内容："排名","热搜数据","标题"
数据特征分析:"排名"、"热度数据"的之间关系整体呈现上升的趋势，可通过后续绘制直方图、折线图等观察数据的变化情况。
3.主题式网络爬虫设计方案概述
实现思路：在浏览器 中通过F12访问网页源代码,，分析网站源代码，找到自己所需要的数据所在的位置，提取数据,对数据进行保存到相同路径csv文件中，读取改文件，进行数据清洗，数据模型分析，数据可视化处理，绘制分布图，用最小二乘法分析两个变量间的二次拟合方程和绘制拟合曲线。
技术难点：对库使用和库中函数的运用，爬取的内容的机构分析处理做数据分析，即求回归系数，因为标题是文字，无法与数字作比较，需要把标题这一列删除才可。由于不明原因，输出结果经常会显示超出列表范围。
三.主题页面的结构特征分析
1.主题页面的结构与特征分析：先寻找到热搜对应的网页代码，紧接着寻找排名，标题，热度数据所对应的class标签。
2.页面解析
1.
1 #输入所要爬取的网页 2 url="https://top.baidu.com/board?tab=realtime" 3 #伪装爬虫头避免被检测拦截 4 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'} 5 #请求网站 6 r=requests.get(url) 7 #print(r.text) 8 #对页面内容重新编码 9 r.encoding=r.apparent_encoding 10 data=r.text 11 #使用BeautifulSoup 12 soup=BeautifulSoup(data,'html.parser') 13 #显示网站结构 14 #print(soup.prettify()) 15 head=[] 16 index=[] 17 for i in soup.find_all(class_="hot-index_1Bl1a"): 18 head.append(i.get_text().strip()) 19 for i in soup.find_all(class_="c-single-text-ellipsis"): 20 index.append(i.get_text().strip()) 21 data=[head,index] 22 s=pd.DataFrame(data,index=["标题","热度数据"]) 23 #将所得数据进行可视化 24 print(s.T)
2.
1 #将数据保存至本地并进行数据的清理 2 S="F:\各种工作杂碎东西\\baidu1.csv" 3 df=pd.DataFrame(data,index=["标题","热度数据"]) 4 df.T.to_csv(S,encoding="utf_8_sig")
1 #清洗数据 2 #有表头读入 3 df = pd.read_csv('F:\各种工作杂碎东西\\baidu1.csv') 4 #修改表头 5 df = pd.read_csv('F:\各种工作杂碎东西\\baidu1.csv',header=None,names=['排名','热度数据','标题']) 6 #调整排名 7 df=df.drop([0]) 8 for i in range(31): 9 df['排名'].loc[i] =i 10 df
3.
1 #检查是否有重复值 print(df.duplicated())
4.
1 #检查是否有空值 2 print(df['热度数据'].isnull().value_counts())
5.
1 #异常值处理 2 print(df.describe())
6.
1 from sklearn.linear_model import LinearRegression 2 X = df.drop("标题",axis=1) 3 predict_model = LinearRegression() 4 predict_model.fit(X,df['热度数据']) 5 print("回归系数为:",predict_model.coef_)
7.
1 #绘制排名与热度的回归图 2 import seaborn as sns 3 sns.lmplot(x='排名', y='热度数据', data=df, ci=None)
8.
1 import numpy as np 2 #画出散点图 3 plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 4 plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号 5 N=100 6 x=np.random.rand(N) 7 y=np.random.rand(N) 8 size=50 9 plt.xlabel("排名") 10 plt.ylabel("热度数据") 11 plt.scatter(x,y,size,color='b',alpha=0.5,marker="o") 12 #散点图 13 sns.jointplot(x="排名",y="热度数据",data=df,kind='reg',color='g') 14 sns.jointplot(x="排名",y="热度数据",data=df,kind='hex',color='r') 15 sns.jointplot(x="排名",y="热度数据",data=df,kind="kde",space=0,color='bule')
9.
1 import csv 2 import matplotlib.pyplot as plt 3 import pandas as pd 4 xdata = [] 5 ydata = [] 6 xdata = df.loc[:,'排名'] #将csv中列名为“列名1”的列存入xdata数组中 7 #如果ix报错请将其改为loc 8 ydata = df.loc[:,'热度数据'] 9 plt.plot(xdata,ydata,'bo-',label=u'',linewidth=1) 10 plt.title(u"折线图",size=10) #设置表名为“表名” 11 plt.legend() 12 plt.xlabel(u'排名',size=10) #设置x轴名为“x轴名” 13 plt.ylabel(u'热度数据',size=10) #设置y轴名为“y轴名” 14 plt.show()
10.
1 #标题直方图分析趋势 2 import matplotlib.pyplot as plt 3 x = df['标题'].head(20) 4 y = df['热度数据'].head(20) 5 plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签 6 plt.rcParams['axes.unicode_minus']=False 7 plt.xticks(rotation=90) 8 plt.bar(x,y,alpha=0.2, width=0.4, color='b', lw=3,label="标题") 9 plt.plot(x,y,'-',color = 'r',label="热度数据") 10 plt.legend(loc = "best")#图例 11 plt.title("热搜指数趋势图") 12 plt.xlabel("标题",)#横坐标名字 13 plt.ylabel("热度数据")#纵坐标名字 14 plt.show()
11.
1 #标题水平直方图 2 plt.barh(x,y, alpha=0.2, height=0.4, color='red',label="热度数据", lw=3) 3 plt.title("热搜指数水平图") 4 plt.legend(loc = "best")#图例 5 plt.xlabel("标题",)#横坐标名字 6 plt.ylabel("热度数据")#纵坐标名字 7 plt.show()
12.
1 #绘画盒图 2 plt.xlabel("排名") 3 plt.ylabel("热度数据") 4 sns.boxplot(x='排名',y='热度数据',data=df)
13.
1 #标题云图 2 import pandas as pd 3 import numpy as np 4 import wordcloud as wc 5 from PIL import Image 6 import matplotlib.pyplot as plt 7 import random 8 9 bk = np.array(Image.open(r"C:\Users\12278\Desktop\无标题.png")) 10 mask = bk 11 # 定义尺寸 12 word_cloud = wc.WordCloud( 13 width=2000, # 词云图宽 14 height=1000, # 词云图高 15 mask = mask, 16 background_color='black', # 词云图背景颜色，默认为白色 17 font_path='msyhbd.ttc', # 词云图 字体（中文需要设定为本机有的中文字体） 18 max_font_size=400, # 最大字体，默认为200 19 random_state=50, # 为每个单词返回一个PIL颜色 20 ) 21 text = df["标题"] 22 text = " ".join(text) 23 word_cloud.generate(text) 24 plt.imshow(word_cloud) 25 plt.show()
1 #数据持久化 2 df = pd.DataFrame(df,columns=["排名","热度数据","标题"]) 3 df.to_csv('百度3.csv',encoding = 'gbk') #保存文件，数据持久化
四.完整代码
1 #输入所要爬取的网页 2 url="https://top.baidu.com/board?tab=realtime" 3 #伪装爬虫头避免被检测拦截 4 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'} 5 #请求网站 6 r=requests.get(url) 7 #print(r.text) 8 #对页面内容重新编码 9 r.encoding=r.apparent_encoding 10 data=r.text 11 #使用BeautifulSoup 12 soup=BeautifulSoup(data,'html.parser') 13 #显示网站结构 14 #print(soup.prettify()) 15 head=[] 16 index=[] 17 for i in soup.find_all(class_="hot-index_1Bl1a"): 18 head.append(i.get_text().strip()) 19 for i in soup.find_all(class_="c-single-text-ellipsis"): 20 index.append(i.get_text().strip()) 21 data=[head,index] 22 s=pd.DataFrame(data,index=["标题","热度数据"]) 23 #将所得数据进行可视化 24 print(s.T) 25 #将数据保存至本地并进行数据的清理 26 S="F:\各种工作杂碎东西\\baidu1.csv" 27 df=pd.DataFrame(data,index=["标题","热度数据"]) 28 df.T.to_csv(S,encoding="utf_8_sig") 29 30 #清洗数据 31 #有表头读入 32 df = pd.read_csv('F:\各种工作杂碎东西\\baidu1.csv') 33 #修改表头 34 df = pd.read_csv('F:\各种工作杂碎东西\\baidu1.csv',header=None,names=['排名','热度数据','标题']) 35 #调整排名 36 df=df.drop([0]) 37 for i in range(31): 38 df['排名'].loc[i] =i 39 #清洗数据 40 #有表头读入 41 df = pd.read_csv('F:\各种工作杂碎东西\\baidu1.csv') 42 #修改表头 43 df = pd.read_csv('F:\各种工作杂碎东西\\baidu1.csv',header=None,names=['排名','热度数据','标题']) 44 #调整排名 45 df=df.drop([0]) 46 for i in range(31): 47 df['排名'].loc[i] =i 48 #清洗数据 49 #有表头读入 50 df = pd.read_csv('F:\各种工作杂碎东西\\baidu1.csv') 51 #修改表头 52 df = pd.read_csv('F:\各种工作杂碎东西\\baidu1.csv',header=None,names=['排名','热度数据','标题']) 53 #调整排名 54 df=df.drop([0]) 55 for i in range(31): 56 df['排名'].loc[i] =i 57 #检查是否有重复值 58 print(df.duplicated()) 59 #检查是否有空值 60 print(df['热度数据'].isnull().value_counts()) 61 #异常值处理 62 print(df.describe()) 63 X = df.drop("标题",axis=1) 64 predict_model = LinearRegression() 65 predict_model.fit(X,df['热度数据']) 66 print("回归系数为:",predict_model.coef_) 67 sns.lmplot(x='排名', y='热度数据', data=df, ci=None) 68 #画出散点图 69 plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 70 plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号 71 N=100 72 x=np.random.rand(N) 73 y=np.random.rand(N) 74 size=50 75 plt.xlabel("排名") 76 plt.ylabel("热度数据") 77 plt.scatter(x,y,size,color='b',alpha=0.5,marker="o") 78 #散点图 79 sns.jointplot(x="排名",y="热度数据",data=df,kind='reg',color='g') 80 sns.jointplot(x="排名",y="热度数据",data=df,kind='hex',color='r') 81 sns.jointplot(x="排名",y="热度数据",data=df,kind="kde",space=0,color='bule') 82 xdata = [] 83 ydata = [] 84 xdata = df.loc[:,'排名'] #将csv中列名为“列名1”的列存入xdata数组中 85 #如果ix报错请将其改为loc 86 ydata = df.loc[:,'热度数据'] 87 plt.plot(xdata,ydata,'bo-',label=u'',linewidth=1) 88 plt.title(u"折线图",size=10) #设置表名为“表名” 89 plt.legend() 90 plt.xlabel(u'排名',size=10) #设置x轴名为“x轴名” 91 plt.ylabel(u'热度数据',size=10) #设置y轴名为“y轴名” 92 plt.show() 93 x = df['标题'].head(20) 94 y = df['热度数据'].head(20) 95 plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签 96 plt.rcParams['axes.unicode_minus']=False 97 plt.xticks(rotation=90) 98 plt.bar(x,y,alpha=0.2, width=0.4, color='b', lw=3,label="标题") 99 plt.plot(x,y,'-',color = 'r',label="热度数据") 100 plt.legend(loc = "best")#图例 101 plt.title("热搜指数趋势图") 102 plt.xlabel("标题",)#横坐标名字 103 plt.ylabel("热度数据")#纵坐标名字 104 plt.show() 105 #标题水平直方图 106 plt.barh(x,y, alpha=0.2, height=0.4, color='red',label="热度数据", lw=3) 107 plt.title("热搜指数水平图") 108 plt.legend(loc = "best")#图例 109 plt.xlabel("标题",)#横坐标名字 110 plt.ylabel("热度数据")#纵坐标名字 111 plt.show() 112 #标题散点图 113 114 plt.scatter(x,y,color='b',marker='o',s=40,alpha=0.5) 115 plt.xticks(rotation=90) 116 plt.title("热搜指数散点图") 117 plt.xlabel("hot_title",)#横坐标名字 118 plt.ylabel("hot_zhishu")#纵坐标名字 119 plt.show() 120 bk = np.array(Image.open(r"C:\Users\12278\Desktop\无标题.png")) 121 mask = bk 122 # 定义尺寸 123 word_cloud = wc.WordCloud( 124 width=2000, # 词云图宽 125 height=1000, # 词云图高 126 mask = mask, 127 background_color='black', # 词云图背景颜色，默认为白色 128 font_path='msyhbd.ttc', # 词云图 字体（中文需要设定为本机有的中文字体） 129 max_font_size=400, # 最大字体，默认为200 130 random_state=50, # 为每个单词返回一个PIL颜色 131 ) 132 text = df["标题"] 133 text = " ".join(text) 134 word_cloud.generate(text) 135 plt.imshow(word_cloud) 136 plt.show() 137 #绘画盒图 138 plt.xlabel("排名") 139 plt.ylabel("热度数据") 140 sns.boxplot(x='排名',y='热度数据',data=df) 141 #数据持久化 142 df = pd.DataFrame(df,columns=["排名","热度数据","标题"]) 143 df.to_csv('百度3.csv',encoding = 'gbk') #保存文件，数据持久化
四.总结
1.通过对数据的分析可以发现整体的热度是成一次函数形式上升的，并且热度值最高点与最低点之间相差300W之间，普通热点第一一般不会超过500W，最低热点也有200W以上。
2.小结：在这次对百度热榜的分析的过程中，我从中学会了不少函数及用法。很多次都卡在一个点上，绞尽脑汁去想解决问题的办法，通过观看b站的视频，百度搜索等方法去找寻答案。这两个星期来也养成了耐心和独立思考的习惯，并且提高了我对Python的兴趣。
