爬取豆瓣电影TOP250榜

一.主题式网络主题式网络爬虫设计方案

1.爬虫名称：爬取豆瓣电影 Top 250 数据

2.爬取内容：爬取电影排名，评分，介绍

3.网络爬虫设计方案概述：

思路：通过分析网页源代码，找出数据所在的标签，通过爬虫读取数据保存到csv文件中，读取文件，对数据进行清洗和处理，数据分析与可视化处理。

技术难点：数据量过少，所掌握的知识不够使用。

 

二.主题页面的结构特征分析

1.主题页面的结构和特征分析：爬取数据都分布在标签'<ol class="grid_view">'里面，电影名标签为'span.title',评分标签为'span.rating_num',介绍标签为'span.inq'。

2.Htmls页面解析：

 

三、网络爬虫程序设计

1.数据的爬取与采集：

import requests
from bs4 import BeautifulSoup
import pandas as pd
from sklearn.linear_model import LinearRegression
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
from scipy.optimize import leastsq

def get_html(url):
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}#伪装爬虫
resp = requests.get(url, headers = headers)
return resp.text

url = 'https://movie.douban.com/top250'
html = get_html(url)
soup = BeautifulSoup(html, 'html.parser')

a = soup.find_all('div', class_='hd')
#电影名
film_name = []
for i in a:
film_name.append(i.a.span.text)

#评分
rating_score = soup.find_all('span', class_='rating_num')

lt = []
num = 20
for i in range(num):
lt.append([i+1,film_name[i], rating_score[i].string])
df = pd.DataFrame(lt,columns = ['排名', '电影名', '评分'])
df.to_csv('豆瓣电影数据.csv') #保存文件，数据持久化

 

2.对数据进行清洗和处理：

#读取csv文件
df = pd.DataFrame(pd.read_csv('豆瓣电影数据.csv'))
#print(df)
df.head()

#检查是否有重复值

df.duplicated()

 

 

#空值处理
df.isnull().sum()#返回0，表示没有空值

 

 #缺失值处理

df[df.isnull().values==True]#返回无缺失值

 

 

#用describe()命令显示描述性统计指标
df.describe()

 

 3.数据分析与可视化：

X = df.drop("电影名",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df['评分'])
print("回归系数为:",predict_model.coef_)

 

#绘制排名与评分的回归图
plt.rcParams['font.sans-serif']=['STSong']#显示中文
sns.regplot(df.排名,df.评分)

 

# 绘制散点图
def Scatter_point():

plt.scatter(df.排名, df.评分, color='red', s=25, marker="o")
plt.xlabel("排名")
plt.ylabel("评分")
plt.title("排名与评分-散点图")
plt.show()

Scatter_point()

 

 

# 绘制垂直柱状图
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
plt.bar(df.排名, df.评分, label="排名与评分柱状图")
plt.show()

 

#绘制排名与评分-盒图
def draw1():

plt.figure(figsize=(10, 6))
plt.title('绘制排名与评分-盒图')
sns.boxplot(x='排名',y='评分', data=df)

draw1()

 

#绘制部分分布图
sns.jointplot(x="排名",y='评分',data = df, kind='reg')

#绘制一元一次回归方程
def main():

colnames = ["排名", "电影名", "评分"]
df = pd.read_csv('豆瓣电影数据.csv',skiprows=1,names=colnames)
X = df.排名
Y = df.评分

def func(p, x):
k, b = p
return k * x + b

def error_func(p, x, y):
return func(p,x)-y
p0 = [0,0]

Para = leastsq(error_func, p0, args = (X, Y))
k, b = Para[0]
print("k=",k,"b=",b)

plt.figure(figsize=(10,6))
plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)
x=np.linspace(0,30,20)
y=k*x+b
plt.plot(x,y,color="red",label=u"回归方程直线",linewidth=2)

plt.title("电影排名和评分关系图")
plt.xlabel('排名')
plt.ylabel('评分')
plt.legend()
plt.show()

main()

 

#绘制一元二次回归方程
def one():

colnames = ["排名", "电影名", "评分"]
df = pd.read_csv('豆瓣电影数据.csv',skiprows=1,names=colnames)
X = df.排名
Y = df.评分

def func(p,x):
a,b,c=p
return a*x*x+b*x+c

def error_func(p,x,y):
return func(p,x)-y

p0=[0,0,0]
Para=leastsq(error_func,p0,args=(X,Y))
a,b,c=Para[0]
plt.figure(figsize=(10,6))
plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)

x=np.linspace(0,30,20)
y=a*x*x+b*x+c
plt.plot(x,y,color="red",label=u"拟合直线",linewidth=2)
plt.title("电影排名和评分一元二次回归方程关系图")
plt.legend()
plt.show()

one()

 

 5.将以上各部分的代码汇总，附上完整程序代码:

 

import requests
from bs4 import BeautifulSoup
import pandas as pd
from sklearn.linear_model import LinearRegression
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
from scipy.optimize import leastsq

def get_html(url):
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}#伪装爬虫
resp = requests.get(url, headers = headers)
return resp.text

url = 'https://movie.douban.com/top250'
html = get_html(url)
soup = BeautifulSoup(html, 'html.parser')

a = soup.find_all('div', class_='hd')
#电影名
film_name = []
for i in a:
film_name.append(i.a.span.text)

#评分
rating_score = soup.find_all('span', class_='rating_num')

lt = []
num = 20
for i in range(num):
lt.append([i+1,film_name[i], rating_score[i].string])
df = pd.DataFrame(lt,columns = ['排名', '电影名', '评分'])
df.to_csv('豆瓣电影数据.csv') #保存文件，数据持久化

#读取csv文件
df = pd.DataFrame(pd.read_csv('豆瓣电影数据.csv'))
#print(df)
df.head()

#检查是否有重复值
df.duplicated()

#空值处理
df.isnull().sum()#返回0，表示没有空值

#缺失值处理
df[df.isnull().values==True]#返回无缺失值

#用describe()命令显示描述性统计指标
df.describe()

#数据分析
X = df.drop("电影名",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df['评分'])
print("回归系数为:",predict_model.coef_)

#绘制排名与评分的回归图
plt.rcParams['font.sans-serif']=['STSong']#显示中文
sns.regplot(df.排名,df.评分)

# 绘制散点图
def Scatter_point():

plt.scatter(df.排名, df.评分, color='red', s=25, marker="o")
plt.xlabel("排名")
plt.ylabel("评分")
plt.title("排名与评分-散点图")
plt.show()

Scatter_point()

# 绘制垂直柱状图
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
plt.bar(df.排名, df.评分, label="排名与评分柱状图")
plt.show()

#绘制排名与评分-盒图
def draw1():

plt.figure(figsize=(10, 6))
plt.title('绘制排名与评分-盒图')
sns.boxplot(x='排名',y='评分', data=df)

draw1()

#绘制分布图
sns.jointplot(x="排名",y='评分',data = df, kind='reg')

#绘制一元一次回归方程
def main():

colnames = ["排名", "电影名", "评分"]
df = pd.read_csv('豆瓣电影数据.csv',skiprows=1,names=colnames)
X = df.排名
Y = df.评分

def func(p, x):
k, b = p
return k * x + b

def error_func(p, x, y):
return func(p,x)-y
p0 = [0,0]

Para = leastsq(error_func, p0, args = (X, Y))
k, b = Para[0]
print("k=",k,"b=",b)

plt.figure(figsize=(10,6))
plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)
x=np.linspace(0,30,20)
y=k*x+b
plt.plot(x,y,color="red",label=u"回归方程直线",linewidth=2)

plt.title("电影排名和评分关系图")
plt.xlabel('排名')
plt.ylabel('评分')
plt.legend()
plt.show()

main()

#绘制一元二次回归方程
def one():

colnames = ["排名", "电影名", "评分"]
df = pd.read_csv('豆瓣电影数据.csv',skiprows=1,names=colnames)
X = df.排名
Y = df.评分

def func(p,x):
a,b,c=p
return a*x*x+b*x+c

def error_func(p,x,y):
return func(p,x)-y

p0=[0,0,0]
Para=leastsq(error_func,p0,args=(X,Y))
a,b,c=Para[0]
plt.figure(figsize=(10,6))
plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)

x=np.linspace(0,30,20)
y=a*x*x+b*x+c
plt.plot(x,y,color="red",label=u"拟合直线",linewidth=2)
plt.title("电影排名和评分一元二次回归方程关系图")
plt.legend()
plt.show()

one()

四、结论

1.1.经过对主题数据的分析与可视化，可以得到哪些结论？

通过这次作业中对主题数据的分析与可视化，让我深刻的认识到了数据可视化的遍历之处，通过数据分析和可视化让抽象的数据变成具体的图像，让我们的理解更加容易。

2.对本次程序设计任务完成的情况做一个简单的小结：通过这次做题任务，我明白了数据的分析与可视化，掌握了不少库的使用，在完成的过程中遇到了很多的困难，让我得到了许多收获，也让我充分的认识到了自己的不足之处，在未来我将更加努力的学习