网络爬虫——IMDb-Most Popular Tv Shows

一、选题的背景

1.选择IMDb流行电视剧的网络爬虫作为选题，是因为电视剧在当今社会中扮演着重要角色，它们不仅是娱乐消遣的方式，还反映了社会文化、价值观和审美趋势。通过对IMDb流行电视剧的数据分析，可以了解观众的喜好和市场需求，为制作公司、投资者、广告商等提供有价值的参考信息。

2.预期目标是获取IMDb网站上热门电视剧的关键信息，如中英文名称、导演、年份、评分以及排名变化等，从而进行深入分析。例如，可以挖掘出哪些类型的电视剧更受欢迎、哪些导演的作品更具吸引力、不同年份的热门电视剧在主题和风格上的变化等。

3.从社会角度来看，热门电视剧往往反映了社会大众的价值观、心理需求和审美趋势。从经济角度来看，了解热门电视剧的特点有助于投资者、制作公司和广告商制定更明智的决策。从技术角度来看，网络爬虫技术可以高效地收集和整理数据，为后续的数据分析和挖掘奠定基础。从数据来源来看，IMDb是全球最大的电影和电视剧数据库，其数据具有较高的权威性和可靠性。

二、主题式网络爬虫设计方案

1.主题式网络爬虫名称

　　IMDb-Most Popular Tv Shows

2.网络爬虫爬取IMDb流行电视剧的内容时，通常关注以下数据特征进行分析：

1. 电视剧名称（Title）：电视剧的名称是关键信息，便于识别和检索。

2. 评分（Rating）：用户对电视剧的评价，通常以0-10的分数表示，可用于评估电视剧的受欢迎程度。

3. 首播年份（Premiere Date）：电视剧首次播出的年份，可以用来分析电视剧的新旧程度。

4. 排名（Ranking）：根据评分数等因素综合排序得出的电视剧排名，可以反映出电视剧在众多作品中的地位。

通过分析这些数据特征，我们可以了解到电视剧的受欢迎程度、观众喜好、新旧程度等信息。这些信息对于制作公司、广告商、观众等多方具有重要参考价值

3.网络爬虫设计方案概述：

一、实现思路：

1. 目标网站分析：分析IMDb和豆瓣网站的结构、数据分布和页面编码等信息，以便更好地设计爬虫程序。

2. 请求与响应处理：使用Python的requests库向目标网站发送请求，并处理响应数据，包括处理异常情况、编码问题等。同时，使用代理IP和随机User-Agent进行反爬策略应对。

3. 数据解析：使用正则表达式对响应数据进行解析，提取所需信息，包括中文名、英文名、导演、年份、评分和排名变化等。

4. 数据存储：将提取到的信息存储到Excel文件中，以便后续分析和使用。

5. 爬虫调度：使用time库的sleep函数实现延时爬取，降低爬取频率，避免触发反爬策略。

二、技术难点：

1. 反爬策略应对：目标网站可能会采取一定的反爬策略，如User-Agent限制、IP限制等。需要设计相应的策略应对，如使用代理IP、随机User-Agent等。

2. 数据解析准确性：由于网站结构可能会发生变化，需要时刻关注数据解析的准确性，并及时调整解析规则。同时，正则表达式的编写需要一定的技巧，以确保正确提取所需信息。

3. 爬虫监控与维护：设计爬虫监控机制，定期检查爬虫运行状态，确保爬虫正常运行，并及时处理异常情况。

4. 跨站数据整合：本爬虫需要从IMDb和豆瓣两个网站获取数据，并进行整合。需要确保两个网站数据的一致性和准确性。

5. 数据存储与处理：将爬取到的数据存储到Excel文件中，需要使用openpyxl库进行操作。同时，需要确保数据格式的正确性和可读性。

三、主题页面的结构特征分析

数据源说明

数据源是来自IMDb网站上的电视节目排名，包含了当前最流行的100部电视剧。IMDb是一个在线的电影和电视节目数据库，包含了大量的电影、电视节目、演员、导演、制片人等相关信息。这些信息是由IMDb网站的用户提交和编辑的，因此具有一定的权威性和参考价值。

 https://www.imdb.com/chart/tvmeter/?ref_=nv_tvv_mptv

数据类型为电视节目排名，包含了电视节目的名称、评分、播出年份、排名、导演等信息。数据格式为HTML，需要通过爬虫程序进行解析和提取。

数据格式是一个列表，每个列表元素包含以下信息：

• 排名
• 中文名
• 英文名
• 导演
• 年份
• 评分
• 排名变化

1.主题页面的结构与特征分析

1. IMDb主题页面：

　　　IMDb主题页面的结构主要由以下几个部分组成：

• 导航栏：包含网站的主要分类，如电影、电视剧、名人等。
• 搜索框：提供关键词搜索功能。
• 内容区：包含排行榜、电影、电视剧等信息，以表格或列表形式展示。
• 侧边栏：包含一些热门电影、电视剧、名人等推荐信息。

  

   

　　IMDb主题页面的特征主要表现在：

• 数据分布：数据主要分布在表格或列表中，每个表格行或列表项包含了排名、名称、评分、导演、年份等信息。
• 标签属性：通过分析页面源代码，可以发现各类信息对应的HTML标签和属性，如电影名称对应的是<a>标签，评分对应的是<strong>标签等。

  

2. 豆瓣主题页面：

　　豆瓣主题页面的结构主要由以下几个部分组成：

• 导航栏：包含网站的主要分类，如电影、读书、音乐等。
• 搜索框：提供关键词搜索功能。
• 内容区：包含排行榜、电影、书籍等信息，以卡片或列表形式展示。
• 侧边栏：包含一些热门电影、书籍、音乐等推荐信息。

  

   

　　豆瓣主题页面的特征主要表现在：

• 数据分布：数据主要分布在卡片或列表中，每个卡片或列表项包含了名称、评分、导演、演员等信息。
• 标签属性：通过分析页面源代码，可以发现各类信息对应的HTML标签和属性，如电影名称对应的是<a>标签，导演对应的是<span>标签等。

  

2.Htmls 页面解析

代码操作：

1. pat: 用于匹配<td class="titleColumn">标签内的内容，提取排名、英文名和年份。正则表达式分为3个捕获组：

   • (.*)..*: 匹配排名
   • (.*): 匹配英文名
   • (.*): 匹配年份

2. pat2: 用于匹配<a>标签内的内容，提取中文名。正则表达式有1个捕获组：

   • (.*?): 匹配中文名

3. pat3: 用于匹配<span class="subject-cast">标签内的内容，提取导演名。正则表达式有1个捕获组：

   • (.*): 匹配导演名

4. pat4: 用于匹配<td class="ratingColumn imdbRating">标签内的内容，提取评分。正则表达式有2个捕获组：

   • (.*): 匹配评分标题，包含评分和基于的用户数量
   • (.*): 匹配评分

 

其中对于排名变化的爬取：

（排名上升4）

 

（排名不变）

（排名下降2）

在下面是用来正则表达式匹配排名的变化，

（正则表达式）

1. up_down_res: 使用find_all_by_pat函数从HTML文档中查找所有匹配up_down_pat正则表达式的结果。

2. if len(up_down_res) > i: 检查是否有足够的匹配结果来提取第i个电影或电视节目的评分变化信息。

3. rating_value = up_down_res[i][1]: 从匹配结果中提取评分。

4. rating_change = up_down_res[i][2]: 从匹配结果中提取评分变化信息。

5. if rating_change == '(no change)': rating_change = '无变化': 如果评分没有变化，则将评分变化信息设置为“无变化”。

6. elif rating_change.startswith('('): 如果评分有变化，则检查评分变化信息是否以括号开头。

7. direction = rating_change[1:4]: 如果评分变化信息以(up或(down开头，则提取方向（up或down）。

8. change_value = rating_change[5:-1]: 如果评分变化信息以(up或(down开头，则提取变化数量。

9. if direction == 'up ': rating_change = '上升' + change_value: 如果评分上升，则将评分变化信息设置为“上升”+变化数量。

10. elif direction == 'dow': rating_change = '下降' + change_value: 如果评分下降，则将评分变化信息设置为“下降”+变化数量。

11. else: rating_change = '未知': 如果无法确定评分变化信息，则将其设置为“未知”。

(BeautifulSoup库)

1. rankings_table = soup.find('tbody', class_='lister-list'): 使用find函数从HTML文档中查找包含电影或电视节目排名信息的表格，该表格具有tbody标签和lister-list类。

2. rows = rankings_table.find_all('tr'): 使用find_all函数从表格中查找所有行。

3. for row in rows:: 遍历每一行。

4. rank_column = row.find('td', class_='titleColumn'): 使用find函数从当前行中查找包含电影或电视节目名称和排名信息的单元格，该单元格具有td标签和titleColumn类。

5. rank_text = row.find('div', class_='velocity').text.strip() if row.find('div', class_='velocity') else 'N/A': 使用find函数从当前行中查找包含排名上升和排名下降信息的div标签，该标签具有velocity类。如果找到了这个标签，则提取文本内容并去除前后空格；否则将rank_text设置为“N/A”。

6. rank = rank_text.split('\n')[0] if rank_text else 'N/A': 将rank_text按照换行符\n分割成多个字符串，提取第一个字符串作为排名信息，并将其赋值给rank。如果rank_text为空，则将rank设置为“N/A”。

 3.节点（标签）查找方法与遍历方法 （必要时画出节点树结构）

 

节点（标签）查找方法：

• find_all()：查找符合条件的所有节点
• select()：使用CSS选择器查找节点

遍历方法：

• 需要注意的是，虽然代码中没有使用遍历方法，但是在获取电影信息时，使用了正则表达式对HTML文本进行匹配，也可以视为一种遍历方法。

四、网络爬虫程序设计

1.数据爬取与采集

采集电视剧排名和排名变化

import requests
from bs4 import BeautifulSoup
import openpyxl

# 发送HTTP请求获取网页内容
url = 'https://www.imdb.com/chart/tvmeter/?ref_=nv_tvv_mptv'
response = requests.get(url)
html_content = response.content

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html_content, 'html.parser')

# 创建一个Excel工作簿和工作表
workbook = openpyxl.Workbook()
sheet = workbook.active

# 添加列标题
sheet.append(['名称', '当前排名', '近期上升情况', '近期下降情况'])

# 找到排名和排名变化所在的HTML元素
rankings_table = soup.find('tbody', class_='lister-list')
rows = rankings_table.find_all('tr')

# 提取排名、电影名、排名上升和排名下降数据，并写入Excel工作表
for row in rows:
    rank_column = row.find('td', class_='titleColumn')
    rank_text = row.find('div', class_='velocity').text.strip() if row.find('div', class_='velocity') else 'N/A'
    rank = rank_text.split('\n')[0] if rank_text else 'N/A'

    # 获取电影名信息
    title_column = rank_column.find('a')
    title = title_column.text.strip() if title_column else 'N/A'

    change_column = row.find('div', class_='velocity')

    up_icon = change_column.find('span', class_='global-sprite titlemeter up')
    down_icon = change_column.find('span', class_='global-sprite titlemeter down')

    if up_icon:
        change = change_column.text.strip().split('\n')[-1].strip('()')
        decrease = 'N/A'
    elif down_icon:
        change = 'N/A'
        decrease = change_column.text.strip().split('\n')[-1].strip('()')
    else:
        change = 'N/A'
        decrease = 'N/A'

    sheet.append([title, rank, change, decrease])

# 保存Excel文件
file_path = 'C:\\Users\\David\\Desktop\\imdb_rankings.xlsx'
workbook.save(file_path)
print(f"文件已保存至：{file_path}")

 

 采集电视剧名、排名、中文名、导演名、评分

import random
import re
import requests
from openpyxl import Workbook
from time import sleep
import os


def find_all_by_pat(pat, string):
    res = re.findall(pat, string)
    return res


def get_html_doc(url):
    pro = ['122.152.196.126', '114.215.174.227', '119.185.30.75']
    head = {
        'user-Agent': 'Mozilla/5.0(Windows NT 10.0;Win64 x64)AppleWebkit/537.36(KHTML,like Gecko) chrome/58.0.3029.110 Safari/537.36'
    }
    resopnse = requests.get(url, proxies={'http': random.choice(pro)}, headers=head)
    resopnse.encoding = 'utf-8'
    html_doc = resopnse.text
    return html_doc


def get_douban_html(query_name):
    url = 'https://www.douban.com/search?cat=1002&q=%s' % query_name
    douban_search_res = get_html_doc(url)
    return douban_search_res


def get_chinese_name(pat, doc):
    res_list = find_all_by_pat(pat, doc)
    try:
        return res_list[1]
    except:
        return ' '


def get_director_name(pat, doc):
    res = find_all_by_pat(pat, doc)
    try:
        return res[0].split('/')[1]
    except:
        return ' '


if __name__ == "__main__":
    url = "https://www.imdb.com/chart/tvmeter/?ref_=nv_tvv_mptv"
    imdb_doc = get_html_doc(url)
    pat = r'<td class="titleColumn">\s*(.*)..*\s*.*\s*title=".*" >(.*)</a>.*\s*<span class="secondaryInfo">\((.*)\)</span>'
    res = find_all_by_pat(pat, imdb_doc)

    pat2 = r'qcat.*\s*.*>(.*?)\s*</a>'
    pat3 = '<span\s*class="subject-cast">(.*)</span>'
    pat4 = r'<td class="ratingColumn imdbRating">\s*<strong title="(.*) based on .* user ratings">(.*)</strong>'

    # 创建一个空列表用于存储结果
    result = []

    for i in range(len(res)):
        doc = get_douban_html(res[i][1])
        chinise_name = get_chinese_name(pat2, doc)

        director_name = get_director_name(pat3, doc)

        rating_info = find_all_by_pat(pat4, imdb_doc)[i]
        rating = rating_info[1]

        # 查找 up 和 down
        up_down_pat = r'<div class="velocity">(\d+)(<span class="secondaryInfo">\((up|down) (\d+)\)</span>|\(no change\))</div>'
        up_down_res = find_all_by_pat(up_down_pat, imdb_doc)
        if len(up_down_res) > i:
            rating_value = up_down_res[i][1]
            rating_change = up_down_res[i][2]
            if rating_change == '(no change)':
                rating_change = '无变化'
            elif rating_change.startswith('('):
                direction = rating_change[1:4]
                change_value = rating_change[5:-1]
                if direction == 'up ':
                    rating_change = '上升' + change_value
                elif direction == 'dow':
                    rating_change = '下降' + change_value
        else:
            rating_change = '未知'


        # 将结果添加到列表中
        result.append([str(i + 1), chinise_name, res[i][1], director_name, res[i][2], rating, rating_change])

        # 打印结果
        print(result[-1])

        sleep(random.random() * 1.2)

    # 将结果写入 Excel 文件
    wb = Workbook()
    sheet = wb.active
    sheet['A1'] = '排名'
    sheet['B1'] = '中文名'
    sheet['C1'] = '英文名'
    sheet['D1'] = '导演'
    sheet['E1'] = '年份'
    sheet['F1'] = '评分'
    sheet['G1'] = '排名变化'
    for i in range(len(result)):
        for j in range(len(result[i])):
            sheet.cell(row=i + 2, column=j + 1).value = result[i][j]
    desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop')
    wb.save(desktop_path + '/imdbTv.xlsx')

 2.对数据进行清洗和处理

读取采集的电视剧信息

import pandas as pd

# 读取Excel文件
df2 = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

print(df2.head(10))

　　

 删除无效列排名变化

#删除无效列‘排名变化’
df2.drop('排名变化', axis=1, inplace=True)
df2.to_excel('C:/Users/David/Desktop/imdbTv.xlsx', index=False)
print(df2.head(10))

 删除带有空值的行

import pandas as pd

# 读取表格数据
df4 = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 删除带有空值的行
df4.dropna(inplace=True)

# 将处理后的数据保存到新的表格文件中
df4.to_excel('C:/Users/David/Desktop/imdbTv.xlsx', index=False)
print(df3.head(70))

 

统计每列中缺失值的数量

import pandas as pd

df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')
# 统计每列中缺失值的数量
missing_values_count = df.isnull().sum()

# 打印每列中缺失值的数量
print(missing_values_count)

 

import pandas as pd

df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')
# 统计每列中空值的数量
empty_values_count = df.isna().sum()

# 打印每列中空值的数量
print(empty_values_count)

 

3.文本分析（可选）：jieba 分词、wordcloud 的分词可视化

jieba分词“中文名”

import pandas as pd
import jieba

# 读取表格数据
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 对中文名进行分词
df['中文名分词'] = df['中文名'].apply(lambda x: ' '.join(jieba.cut(x)))


# 输出分词结果
print(df[['中文名', '中文名分词']])

 

4.数据分析与可视化（例如：数据柱形图、直方图、散点图、盒图、分布图）

import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制评分直方图
plt.hist(df['评分'], bins=10)
plt.xlabel('评分')
plt.ylabel('频数')
plt.title('电视剧评分直方图')
plt.show()

 

import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制排名柱形图
plt.bar(df['排名'], df['评分'])
plt.xlabel('排名')
plt.ylabel('评分')
plt.title('ranking and rating')

# 旋转横坐标标签
plt.xticks(rotation=45)

# 调整图像大小
plt.figure(figsize=(15, 10))

plt.show()

# 绘制年份柱形图
plt.bar(df['年份'], df['评分'])
plt.xlabel('年份')
plt.ylabel('评分')
plt.title('Tv year and rating')

# 旋转横坐标标签
plt.xticks(rotation=45)

# 调整图像大小
plt.figure(figsize=(15, 10))

plt.show()

 

import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制排名和评分的散点图
plt.scatter(df['排名'], df['评分'])
plt.xlabel('排名')
plt.ylabel('评分')
plt.title('电视剧排名和评分散点图')
plt.show()

 

电视剧排名和年份散点图

import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制排名和年份的散点图
plt.scatter(df['排名'], df['年份'])
plt.xlabel('排名')
plt.ylabel('年份')
plt.title('电视剧排名和年份散点图')
plt.show()

电视剧评分盒图

import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制评分的盒图
plt.boxplot(df['评分'])
plt.ylabel('评分')
plt.title('电视剧评分盒图')
plt.show()

电视剧年份盒图

import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制年份的盒图
plt.boxplot(df['年份'])
plt.ylabel('年份')
plt.title('电视剧年份盒图')
plt.show()

import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制评分的直方图
plt.hist(df['评分'], bins=10)
plt.xlabel('评分')
plt.ylabel('频数')
plt.title('电视剧评分分布图')
plt.show()

# 绘制年份的直方图
plt.hist(df['年份'], bins=10)
plt.xlabel('年份')
plt.ylabel('频数')
plt.title('电视剧年份分布图')
plt.show()

# 绘制评分和年份的散点图
plt.scatter(df['评分'], df['年份'])
plt.xlabel('评分')
plt.ylabel('年份')
plt.title('电视剧评分和年份散点图')
plt.show()

电视剧排名最近情况散点图

import matplotlib.pyplot as plt
import pandas as pd

# 读取数据
df = pd.read_excel('C:/Users/David/Desktop/imdb_rankings.xlsx')

# 绘制散点图
fig, ax = plt.subplots()
ax.scatter(df['当前排名'], df['近期上升情况'], color='g', label='Up')
ax.scatter(df['当前排名'], df['近期下降情况'], color='r', label='Down')
ax.set_xlabel('Ranking')
ax.set_ylabel('Change')
ax.legend()
plt.show()

电视剧评分饼状图

#IMDB电视剧评分分布
import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 选择评分列数据
ratings = df['评分']

# 将评分数据分为8个区间
bins = [0, 6, 6.5, 7, 7.5, 8, 8.5, 9, 10]
labels = ['6.0以下', '6.0~6.5', '6.5~7.0', '7.0~7.5', '7.5~8.0', '8.0~8.5', '8.5~9.0', '9.0以上']
rating_bins = pd.cut(ratings, bins=bins, labels=labels)

# 统计各个区间的评分数量
rating_counts = rating_bins.value_counts()

# 绘制饼状图
plt.pie(rating_counts.values, labels=rating_counts.index, autopct='%1.1f%%')
plt.title('IMDB电视剧评分分布')
plt.show()

IMDB电视剧年份饼状图

#IMDB电视剧年份分布
import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 选择年份列数据
years = df['年份']

# 将年份数据分为8个区间
bins = [1950, 1960, 1970, 1980, 1990, 2000, 2010, 2020, 2030]
labels = ['1950s', '1960s', '1970s', '1980s', '1990s', '2000s', '2010s', '2020s']
year_bins = pd.cut(years, bins=bins, labels=labels)

# 统计各个区间的年份数量
year_counts = year_bins.value_counts()

# 绘制饼状图
plt.pie(year_counts.values, labels=year_counts.index, autopct='%1.1f%%')
plt.title('IMDB电视剧年份分布')
plt.show()

 

5.根据数据之间的关系，分析两个变量之间的相关系数，画出散点图，并建立变 量之间的回归方程（一元或多元）。

评分和年份之间关系

import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 计算评分和年份之间的相关系数
r, p = stats.pearsonr(df['评分'], df['年份'])
print('评分和年份之间的相关系数为：', r)

# 绘制评分和年份的散点图
plt.scatter(df['评分'], df['年份'])
plt.xlabel('评分')
plt.ylabel('年份')
plt.title('电视剧评分和年份散点图')
plt.show()

# 建立评分和年份之间的线性回归方程
slope, intercept, r_value, p_value, std_err = stats.linregress(df['评分'], df['年份'])
print('评分和年份之间的回归方程为：y =', slope, 'x +', intercept)

 

排名和评分的关系

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 计算相关系数
corr_matrix = df.corr()
print(corr_matrix)

# 绘制散点图
plt.scatter(df['排名'], df['评分'])
plt.xlabel('排名')
plt.ylabel('评分')
plt.title('排名和评分的散点图')
plt.show()

# 建立回归方程
x = df['排名']
y = df['评分']
slope, intercept, r_value, p_value, std_err = stats.linregress(x, y)
print('回归方程为：y =', slope, 'x +', intercept)

# 绘制回归线
plt.scatter(x, y)
plt.plot(x, slope * x + intercept, color='red')
plt.xlabel('排名')
plt.ylabel('评分')
plt.title('排名和评分的回归线')
plt.show()

排名和年份的关系

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 计算相关系数
corr_matrix = df.corr()
print(corr_matrix)

# 绘制散点图
plt.scatter(df['排名'], df['年份'])
plt.xlabel('排名')
plt.ylabel('年份')
plt.title('排名和年份的散点图')
plt.show()

# 建立回归方程
x = df['排名']
y = df['年份']
slope, intercept, r_value, p_value, std_err = stats.linregress(x, y)
print('回归方程为：y =', slope, 'x +', intercept)

# 绘制回归线
plt.scatter(x, y)
plt.plot(x, slope * x + intercept, color='red')
plt.xlabel('排名')
plt.ylabel('年份')
plt.title('排名和年份的回归线')
plt.show()

 

 

6.数据持久化

数据持久化分为以下：

1. 数据库：将数据存储在关系型数据库（如MySQL、PostgreSQL）或非关系型数据库（如MongoDB、Redis）中，可以使用Python中的ORM（如SQLAlchemy）或直接使用数据库API进行操作。

2. 文件：将数据存储在本地文件系统中，可以使用Python内置的文件读写操作或第三方库（如Pandas）进行操作。常见的文件格式包括CSV、JSON、XML、Excel等。

3. 缓存：将数据存储在缓存中，可以使用第三方缓存库（如Redis、Memcached）进行操作，可以提高数据读取速度和性能。

我是将采集的数据保存到Excel中。

7.将以上各部分的代码汇总，附上完整程序代码

 

import random
import re
import requests
from openpyxl import Workbook
from time import sleep
import os


def find_all_by_pat(pat, string):
    res = re.findall(pat, string)
    return res


def get_html_doc(url):
    pro = ['122.152.196.126', '114.215.174.227', '119.185.30.75']
    head = {
        'user-Agent': 'Mozilla/5.0(Windows NT 10.0;Win64 x64)AppleWebkit/537.36(KHTML,like Gecko) chrome/58.0.3029.110 Safari/537.36'
    }
    resopnse = requests.get(url, proxies={'http': random.choice(pro)}, headers=head)
    resopnse.encoding = 'utf-8'
    html_doc = resopnse.text
    return html_doc


def get_douban_html(query_name):
    url = 'https://www.douban.com/search?cat=1002&q=%s' % query_name
    douban_search_res = get_html_doc(url)
    return douban_search_res


def get_chinese_name(pat, doc):
    res_list = find_all_by_pat(pat, doc)
    try:
        return res_list[1]
    except:
        return ' '


def get_director_name(pat, doc):
    res = find_all_by_pat(pat, doc)
    try:
        return res[0].split('/')[1]
    except:
        return ' '


if __name__ == "__main__":
    url = "https://www.imdb.com/chart/tvmeter/?ref_=nv_tvv_mptv"
    imdb_doc = get_html_doc(url)
    pat = r'<td class="titleColumn">\s*(.*)..*\s*.*\s*title=".*" >(.*)</a>.*\s*<span class="secondaryInfo">\((.*)\)</span>'
    res = find_all_by_pat(pat, imdb_doc)

    pat2 = r'qcat.*\s*.*>(.*?)\s*</a>'
    pat3 = '<span\s*class="subject-cast">(.*)</span>'
    pat4 = r'<td class="ratingColumn imdbRating">\s*<strong title="(.*) based on .* user ratings">(.*)</strong>'

    # 创建一个空列表用于存储结果
    result = []

    for i in range(len(res)):
        doc = get_douban_html(res[i][1])
        chinise_name = get_chinese_name(pat2, doc)

        director_name = get_director_name(pat3, doc)

        rating_info = find_all_by_pat(pat4, imdb_doc)[i]
        rating = rating_info[1]

        # 查找 up 和 down
        up_down_pat = r'<div class="velocity">(\d+)(<span class="secondaryInfo">\((up|down) (\d+)\)</span>|\(no change\))</div>'
        up_down_res = find_all_by_pat(up_down_pat, imdb_doc)
        if len(up_down_res) > i:
            rating_value = up_down_res[i][1]
            rating_change = up_down_res[i][2]
            if rating_change == '(no change)':
                rating_change = '无变化'
            elif rating_change.startswith('('):
                direction = rating_change[1:4]
                change_value = rating_change[5:-1]
                if direction == 'up ':
                    rating_change = '上升' + change_value
                elif direction == 'dow':
                    rating_change = '下降' + change_value
        else:
            rating_change = '未知'


        # 将结果添加到列表中
        result.append([str(i + 1), chinise_name, res[i][1], director_name, res[i][2], rating, rating_change])

        # 打印结果
        print(result[-1])

        sleep(random.random() * 1.2)

    # 将结果写入 Excel 文件
    wb = Workbook()
    sheet = wb.active
    sheet['A1'] = '排名'
    sheet['B1'] = '中文名'
    sheet['C1'] = '英文名'
    sheet['D1'] = '导演'
    sheet['E1'] = '年份'
    sheet['F1'] = '评分'
    sheet['G1'] = '排名变化'
    for i in range(len(result)):
        for j in range(len(result[i])):
            sheet.cell(row=i + 2, column=j + 1).value = result[i][j]
    desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop')
    wb.save(desktop_path + '/imdbTv.xlsx')
    
    
import requests
from bs4 import BeautifulSoup
import openpyxl

# 发送HTTP请求获取网页内容
url = 'https://www.imdb.com/chart/tvmeter/?ref_=nv_tvv_mptv'
response = requests.get(url)
html_content = response.content

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html_content, 'html.parser')

# 创建一个Excel工作簿和工作表
workbook = openpyxl.Workbook()
sheet = workbook.active

# 添加列标题
sheet.append(['名称', '当前排名', '近期上升情况', '近期下降情况'])

# 找到排名和排名变化所在的HTML元素
rankings_table = soup.find('tbody', class_='lister-list')
rows = rankings_table.find_all('tr')

# 提取排名、电影名、排名上升和排名下降数据，并写入Excel工作表
for row in rows:
    rank_column = row.find('td', class_='titleColumn')
    rank_text = row.find('div', class_='velocity').text.strip() if row.find('div', class_='velocity') else 'N/A'
    rank = rank_text.split('\n')[0] if rank_text else 'N/A'

    # 获取电影名信息
    title_column = rank_column.find('a')
    title = title_column.text.strip() if title_column else 'N/A'

    change_column = row.find('div', class_='velocity')

    up_icon = change_column.find('span', class_='global-sprite titlemeter up')
    down_icon = change_column.find('span', class_='global-sprite titlemeter down')

    if up_icon:
        change = change_column.text.strip().split('\n')[-1].strip('()')
        decrease = 'N/A'
    elif down_icon:
        change = 'N/A'
        decrease = change_column.text.strip().split('\n')[-1].strip('()')
    else:
        change = 'N/A'
        decrease = 'N/A'

    sheet.append([title, rank, change, decrease])

# 保存Excel文件
file_path = 'C:\\Users\\David\\Desktop\\imdb_rankings.xlsx'
workbook.save(file_path)
print(f"文件已保存至：{file_path}")


    
    
import pandas as pd

# 读取Excel文件
df2 = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

print(df2.head(10))

#删除无效列‘排名变化’
df2.drop('排名变化', axis=1, inplace=True)
df2.to_excel('C:/Users/David/Desktop/imdbTv.xlsx', index=False)
print(df2.head(10))



import pandas as pd

# 读取表格数据
df4 = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 删除带有空值的行
df4.dropna(inplace=True)

# 将处理后的数据保存到新的表格文件中
df4.to_excel('C:/Users/David/Desktop/imdbTv.xlsx', index=False)
print(df3.head(70))



import pandas as pd

df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')
# 统计每列中缺失值的数量
missing_values_count = df.isnull().sum()

# 打印每列中缺失值的数量
print(missing_values_count)




import pandas as pd

df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')
# 统计每列中空值的数量
empty_values_count = df.isna().sum()

# 打印每列中空值的数量
print(empty_values_count)



import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制评分直方图
plt.hist(df['评分'], bins=10)
plt.xlabel('评分')
plt.ylabel('频数')
plt.title('电视剧评分直方图')
plt.show()



import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制排名柱形图
plt.bar(df['排名'], df['评分'])
plt.xlabel('排名')
plt.ylabel('评分')
plt.title('ranking and rating')

# 旋转横坐标标签
plt.xticks(rotation=45)

# 调整图像大小
plt.figure(figsize=(15, 10))

plt.show()

# 绘制年份柱形图
plt.bar(df['年份'], df['评分'])
plt.xlabel('年份')
plt.ylabel('评分')
plt.title('Tv year and rating')

# 旋转横坐标标签
plt.xticks(rotation=45)

# 调整图像大小
plt.figure(figsize=(15, 10))

plt.show()



import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制排名和评分的散点图
plt.scatter(df['排名'], df['评分'])
plt.xlabel('排名')
plt.ylabel('评分')
plt.title('电视剧排名和评分散点图')
plt.show()




import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制排名和年份的散点图
plt.scatter(df['排名'], df['年份'])
plt.xlabel('排名')
plt.ylabel('年份')
plt.title('电视剧排名和年份散点图')
plt.show()




import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制评分的盒图
plt.boxplot(df['评分'])
plt.ylabel('评分')
plt.title('电视剧评分盒图')
plt.show()




import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 绘制年份的盒图
plt.boxplot(df['年份'])
plt.ylabel('年份')
plt.title('电视剧年份盒图')
plt.show()




import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 计算评分和年份之间的相关系数
r, p = stats.pearsonr(df['评分'], df['年份'])
print('评分和年份之间的相关系数为：', r)

# 绘制评分和年份的散点图
plt.scatter(df['评分'], df['年份'])
plt.xlabel('评分')
plt.ylabel('年份')
plt.title('电视剧评分和年份散点图')
plt.show()

# 建立评分和年份之间的线性回归方程
slope, intercept, r_value, p_value, std_err = stats.linregress(df['评分'], df['年份'])
print('评分和年份之间的回归方程为：y =', slope, 'x +', intercept)







import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 计算相关系数
corr_matrix = df.corr()
print(corr_matrix)

# 绘制散点图
plt.scatter(df['排名'], df['评分'])
plt.xlabel('排名')
plt.ylabel('评分')
plt.title('排名和评分的散点图')
plt.show()

# 建立回归方程
x = df['排名']
y = df['评分']
slope, intercept, r_value, p_value, std_err = stats.linregress(x, y)
print('回归方程为：y =', slope, 'x +', intercept)

# 绘制回归线
plt.scatter(x, y)
plt.plot(x, slope * x + intercept, color='red')
plt.xlabel('排名')
plt.ylabel('评分')
plt.title('排名和评分的回归线')
plt.show()




import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 计算相关系数
corr_matrix = df.corr()
print(corr_matrix)

# 绘制散点图
plt.scatter(df['排名'], df['年份'])
plt.xlabel('排名')
plt.ylabel('年份')
plt.title('排名和年份的散点图')
plt.show()

# 建立回归方程
x = df['排名']
y = df['年份']
slope, intercept, r_value, p_value, std_err = stats.linregress(x, y)
print('回归方程为：y =', slope, 'x +', intercept)

# 绘制回归线
plt.scatter(x, y)
plt.plot(x, slope * x + intercept, color='red')
plt.xlabel('排名')
plt.ylabel('年份')
plt.title('排名和年份的回归线')
plt.show()




import matplotlib.pyplot as plt
import pandas as pd

# 读取数据
df = pd.read_excel('C:/Users/David/Desktop/imdb_rankings.xlsx')

# 绘制散点图
fig, ax = plt.subplots()
ax.scatter(df['当前排名'], df['近期上升情况'], color='g', label='Up')
ax.scatter(df['当前排名'], df['近期下降情况'], color='r', label='Down')
ax.set_xlabel('Ranking')
ax.set_ylabel('Change')
ax.legend()
plt.show()




#IMDB电视剧评分分布
import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 选择评分列数据
ratings = df['评分']

# 将评分数据分为8个区间
bins = [0, 6, 6.5, 7, 7.5, 8, 8.5, 9, 10]
labels = ['6.0以下', '6.0~6.5', '6.5~7.0', '7.0~7.5', '7.5~8.0', '8.0~8.5', '8.5~9.0', '9.0以上']
rating_bins = pd.cut(ratings, bins=bins, labels=labels)

# 统计各个区间的评分数量
rating_counts = rating_bins.value_counts()

# 绘制饼状图
plt.pie(rating_counts.values, labels=rating_counts.index, autopct='%1.1f%%')
plt.title('IMDB电视剧评分分布')
plt.show()




#IMDB电视剧年份分布
import pandas as pd
import matplotlib.pyplot as plt

# 读取Excel文件
df = pd.read_excel('C:/Users/David/Desktop/imdbTv.xlsx')

# 选择年份列数据
years = df['年份']

# 将年份数据分为8个区间
bins = [1950, 1960, 1970, 1980, 1990, 2000, 2010, 2020, 2030]
labels = ['1950s', '1960s', '1970s', '1980s', '1990s', '2000s', '2010s', '2020s']
year_bins = pd.cut(years, bins=bins, labels=labels)

# 统计各个区间的年份数量
year_counts = year_bins.value_counts()

# 绘制饼状图
plt.pie(year_counts.values, labels=year_counts.index, autopct='%1.1f%%')
plt.title('IMDB电视剧年份分布')
plt.show()

 

 

五、总结（10 分）

1.经过对主题数据的分析与可视化，可以得到哪些结论？是否达到预期的目标？

美剧依然是最受欢迎的类型，其中《权力的游戏》、《绝命毒师》、《黑镜》等热门美剧排名靠前。英剧和日剧在受欢迎程度上也占有一定的份额，例如《神探夏洛克》、《行尸走肉》、《攻壳机动队》等。近年来，随着OTT平台的兴起，来自Netflix、Amazon Prime Video、HBO等平台的原创剧集越来越受欢迎，例如《怪奇物语》、《纸牌屋》、《西部世界》等。近年来的剧集普遍受到观众和评论家的欢迎，例如2010年以后的剧集评分普遍较高，其中不乏《权力的游戏》、《绝命毒师》、《黑镜》等经典剧集。20世纪90年代和2000年代初期的剧集评分也较高，例如《越狱》、《老友记》、《逝去的爱丽丝》等。80年代和70年代的剧集评分相对较低，但仍有一些经典剧集，例如《辛普森一家》、《霹雳游侠》等。50年代和60年代的剧集评分普遍较低，但这个时期的电视剧还处于发展初期，剧集类型和制作水平都有限。总体而言，随着电视剧的发展和进步，剧集的质量和评分也在不断提高。

2.在完成此设计过程中，得到哪些收获？以及要改进的建议？

收获：

1. 程序中使用了豆瓣网站的搜索功能，可能会被豆瓣网站的反爬虫机制识别为恶意行为，要进行一些特殊处理：比如设置请求头等。
2. 程序中使用了代理IP，如果代理IP不可用或被封禁，可能会导致程序无法正常运行。
3. 程序中使用了随机等待时间，以减少对目标网站的访问频率，建议不要过度频繁地运行程序。

改进：

1. 增加多线程或异步处理功能，以便提高程序的爬取效率和速度。

2. 可以加入日志记录功能，以便于排查错误和跟踪程序运行情况。可以使用 Python 自带的 logging 模块，将程序运行过程中的关键信息记录到日志文件中，以便于后续分析和处理