观影大数据

import matplotlib as matplotlib


import numpy as np

import pandas as pd

from pandas import DataFrame, Series

# 可视化显示在界面

# matplotlib inline

import matplotlib

import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来显示中文

plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

# 学习seaborn参考：https://www.jianshu.com/p/c26bc5ccf604


import json

import warnings

warnings.filterwarnings('ignore')

# 设置显示的最大列、宽等参数，消掉打印不完全中间的省略号

# pd.set_option('display.max_columns', 1000)

pd.set_option('display.width', 1000)  # 加了这一行那表格的一行就不会分段出现了

# pd.set_option('display.max_colwidth', 1000)

# pd.set_option('display.height', 1000)

# 显示所有列

pd.set_option('display.max_columns', None)

# 显示所有行

pd.set_option('display.max_rows', None)

movies = pd.read_csv(
    'D:\\Download\\data\\tmdb_5000_movies.csv',
    encoding='utf_8')

credits = pd.read_csv(
    'D:\\Download\\data\\tmdb_5000_credits.csv',
    encoding='utf_8')

movies.info()  # 查看信息

credits.info()

# 两个数据框都有title列，以及movies.riginal_title

# 以上三个数据列重复，删除两个

del credits['title']

del movies['original_title']

# 连接两个csv文件

merged = pd.merge(movies, credits, left_on='id', right_on='movie_id', how='left')

# 删除不需要分析的列

df = merged.drop(['homepage', 'overview', 'spoken_languages', 'status', 'tagline', 'movie_id'], axis=1)

df.info()

# 查找缺失值记录-release_date
var = df[df.release_date.isnull()]
print(var.title)
# 查找缺失值记录-runtime
var = df[df.runtime.isnull()]
print(var.title)

df['release_date'] = df['release_date'].fillna('2014-06-01')
df.loc[2656] = df.loc[2656].fillna('94, limit=1')
df.loc[4140] = df.loc[4140].fillna('240, limit=1')
df.info()

print(len(df.id.unique()))

df['release_year'] = pd.to_datetime(df.release_date, format = '%Y-%m-%d',errors='coerce').dt.year
df['release_month'] = pd.to_datetime(df.release_date).apply(lambda x: x.month)
df['release_day'] = pd.to_datetime(df.release_date).apply(lambda x: x.day)
df.info()
print(df['release_year'],df['release_month'],df['release_day'])

df = df[(df.vote_count >= 50) &(df.budget * df.revenue * df.popularity * df.vote_average !=0)].reset_index(drop = 'True')
df.info()

#Json格式处理
json_column = ['genres', 'keywords', 'production_companies', 'production_countries', 'cast', 'crew']

# 1-json本身为字符串类型，先转换为字典列表
for i in json_column:
    df[i] = df[i].apply(json.loads)

# 提取name
# 2-将字典列表转换为以','分割的字符串
def get_name(x):
    return ','.join([i['name'] for i in x])

df['cast'] = df['cast'].apply(get_name)

# 提取derector
def get_director(x):
    for i in x:
        if i['job'] == 'Director':
            return i['name']

df['crew'] = df['crew'].apply(get_director)

for j in json_column[0:4]:
    df[j] = df[j].apply(get_name)

# 重命名
rename_dict = {'cast': 'actor', 'crew': 'director'}
df.rename(columns=rename_dict, inplace=True)
df.info()
print(df.head(5).genres)
print(df.head(5).keywords)
print(df.head(5).production_companies)
print(df.head(5).production_countries)
print(df.head(5).actor)
print(df.head(5).director)

org_df = df.copy()
df.reset_index().to_csv("TMDB_5000_Movie_Dataset_Cleaned.csv")

genre = set()
for i in df['genres'].str.split(','): # 去掉字符串之间的分隔符，得到单个电影类型
    genre = set().union(i,genre)    # 集合求并集
    # genre.update(i) #或者使用update方法

print(genre)

genre.discard('') # 去除多余的元素
print(genre)

#将genre转变成列表
genre_list = list(genre)

# 创建数据框-电影类型
genre_df = pd.DataFrame()

#对电影类型进行one-hot编码
for i in genre_list:
    # 如果包含类型 i，则编码为1，否则编码为0
    genre_df[i] = df['genres'].str.contains(i).apply(lambda x: 1 if x else 0)

#将数据框的索引变为年份
genre_df.index = df['release_year']

# 计算得到每种类型的电影总数目，并降序排列
grnre_sum = genre_df.sum().sort_values(ascending = False)
# 可视化
plt.rcParams['font.sans-serif'] = ['SimHei']  #用来显示中文
grnre_sum.plot(kind='bar',label='genres',figsize=(12,9))
plt.title('电影类型数量',fontsize=20)
plt.xticks(rotation=60)
plt.xlabel('类型',fontsize=16)
plt.ylabel('数量',fontsize=16)
plt.grid(False)
plt.savefig("电影类型数量-条形图.png",dpi=300) #在 plt.show() 之前调用 plt.savefig()
plt.show()

#绘制饼图
gen_shares = grnre_sum / grnre_sum.sum()
# 设置other类，当电影类型所占比例小于%1时，全部归到other类中
others = 0.01
gen_pie = gen_shares[gen_shares >= others]
gen_pie['others'] = gen_shares[gen_shares < others].sum()

# 设置分裂属性
# 所占比例小于或等于%2时，增大每块饼片边缘偏离半径的百分比
explode = (gen_pie <= 0.02)/10

gen_pie.plot(kind='pie',label='',explode=explode,startangle=0,shadow=False,autopct='%3.1f%%',figsize=(8,8))

plt.title('电影类型占比',fontsize=20)
plt.savefig("电影类型占比-饼图.png",dpi=300)
plt.show()

gen_year_sum = genre_df.sort_index(ascending = False).groupby('release_year').sum()
gen_year_sum_sub = gen_year_sum[['Drama','Comedy','Thriller','Action','Adventure','Crime','Romance','Science Fiction']]
gen_year_sum_sub.plot(figsize=(12,9))
plt.legend(gen_year_sum_sub.columns)
plt.xticks(range(1915,2018,10))
plt.xlabel('年份', fontsize=16)
plt.ylabel('数量', fontsize=16)
plt.title('电影类型变化趋势', fontsize=20)

plt.grid(False)
plt.savefig("电影类型变化趋势-折线图.png",dpi=600)
plt.show()

# 计算不同电影类型的利润

# Step1-创建profit_dataframe

df['profit'] = df['revenue'] - df['budget']

profit_df = pd.DataFrame()

profit_df = pd.concat([genre_df.reset_index(), df['profit']], axis=1)

df.info()

print(df.runtime.head(5))

df.runtime = df.runtime.astype(float)
print(df.runtime.head(5))

fig = plt.figure(figsize=(8,6))

x = list(range(1,13))
y1 = df.groupby('release_month').revenue.size()
y2 = df.groupby('release_month').revenue.mean()# 每月单片平均票房

# 左轴
ax1 = fig.add_subplot(1,1,1)
plt.bar(x,y1,color='b',label='电影数量')
plt.grid(False)
ax1.set_xlabel(u'月份')# 设置x轴label ,y轴label
ax1.set_ylabel(u'每月电影数量',fontsize=16)
ax1.legend(loc=2,fontsize=12)

# 右轴
ax2 = ax1.twinx()
plt.plot(x,y2,'ro--',label=u'单片平均票房')
ax2.set_ylabel(u'每月单片平均票房',fontsize=16)
ax2.legend(loc=1,fontsize=12)

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.savefig('每月电影数量和单片平均票房.png',dpi=300)
plt.rc("font",family="SimHei",size="15")
plt.show()

#票房分布及票房Top10的导演
# 创建数据框 - 导演
director_df = pd.DataFrame()

director_df = df[['director','revenue','budget','vote_average']]
director_df['profit'] = (director_df['revenue']-director_df['budget'])

director_df = director_df.groupby(by = 'director').mean().sort_values(by='revenue',ascending = False) # 取均值
director_df.info()

# 绘制票房分布直方图
director_df['revenue'].plot.hist(bins=100, figsize=(8,6))
plt.xlabel('票房')
plt.ylabel('频数')
plt.title('导演的票房分布直方图')
plt.savefig('导演的票房分布直方图.png',dpi = 300)
plt.show()

# 票房均值Top10的导演
director_df.revenue.sort_values(ascending = True).tail(10).plot(kind='barh',figsize=(8,6))
plt.xlabel('票房',fontsize = 16)
plt.ylabel('导演',fontsize = 16)
plt.title('票房排名Top10的导演',fontsize = 20)
plt.savefig('票房排名Top10的导演.png',dpi = 300)
plt.show()

#评分分布及评分Top10的导演
# 绘制导演评分直方图
director_df['vote_average'].plot.hist(bins=18, figsize=(8,6))
plt.xlabel('评分')
plt.ylabel('频数')
plt.title('导演的评分分布直方图')
plt.savefig('导演的评分分布直方图.png',dpi = 300)
plt.show()

# 评分均值Top10的导演
director_df.vote_average.sort_values(ascending = True).tail(10).plot(kind='barh',figsize=(8,6))
plt.xlabel('评分',fontsize = 16)
plt.ylabel('导演',fontsize = 16)
plt.title('评分排名Top10的导演',fontsize = 20)
plt.savefig('评分排名Top10的导演.png',dpi = 300)
plt.show()

#原创 VS 改编占比（饼图）
# 创建数据框
original_df = pd.DataFrame()
original_df['keywords'] = df['keywords'].str.contains('based on').map(lambda x: 1 if x else 0)
original_df['profit'] = df['revenue'] - df['budget']
original_df['budget'] = df['budget']

# 计算
novel_cnt = original_df['keywords'].sum() # 改编作品数量
original_cnt = original_df['keywords'].count() - original_df['keywords'].sum() # 原创作品数量
# 按照 是否原创 分组
original_df = original_df.groupby('keywords', as_index = False).mean() # 注意此处计算的是利润和预算的平均值
# 增加计数列
original_df['count'] = [original_cnt, novel_cnt]
# 计算利润率
original_df['profit_rate'] = (original_df['profit'] / original_df['budget'])*100

# 修改index
original_df.index = ['original', 'based_on_novel']
# 计算百分比
original_pie = original_df['count'] / original_df['count'].sum()

# 绘制饼图
original_pie.plot(kind='pie',label='',startangle=90,shadow=False,autopct='%2.1f%%',figsize=(8,8))
plt.title('改编 VS 原创',fontsize=20)
plt.legend(loc=2,fontsize=10)
plt.savefig('改编VS原创-饼图.png',dpi=300)
plt.show()




#原创VS改编 预算/利润率（组合图）
x = original_df.index
y1 = original_df.budget
y2 = original_df.profit_rate

fig= plt.figure(figsize = (8,6))

# 左轴
ax1 = fig.add_subplot(1,1,1)
plt.bar(x,y1,color='b',label='平均预算',width=0.25)
plt.xticks(rotation=0, fontsize=12)  # 更改横坐标轴名称
ax1.set_xlabel('原创 VS 改编')                   # 设置x轴label ,y轴label
ax1.set_ylabel('平均预算',fontsize=16)
ax1.legend(loc=2,fontsize=10)

#右轴
# 共享x轴，生成次坐标轴
ax2 = ax1.twinx()
ax2.plot(x,y2,color='r',label='平均利润率')
ax2.set_ylabel('平均利润率',fontsize=16)
ax2.legend(loc=1,fontsize=10) # loc=1,2,3,4分别表示四个角，和四象限顺序一致

# 将利润率坐标轴以百分比格式显示
import matplotlib.ticker as mtick
fmt='%.1f%%'
yticks = mtick.FormatStrFormatter(fmt)
ax2.yaxis.set_major_formatter(yticks)

plt.savefig('改编VS原创的预算以及利润率-组合图.png',dpi=300)
plt.show()