大数据

数据分析时使用python，但对python不了解 就在网上找了相关的代码运行了一下

# 数据导入
import inline as inline
import matplotlib as matplotlib
import numpy as np
import pandas as pd
from pandas import DataFrame, Series

# 可视化显示在界面
# matplotlib inline
import matplotlib
import matplotlib.pyplot as plt
from wordcloud import WordCloud, STOPWORDS

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来显示中文
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

# 学习seaborn参考：https://www.jianshu.com/p/c26bc5ccf604

import json
import warnings

warnings.filterwarnings('ignore')
# 设置显示的最大列、宽等参数，消掉打印不完全中间的省略号
# pd.set_option('display.max_columns', 1000)
pd.set_option('display.width', 1000)#加了这一行那表格的一行就不会分段出现了
# pd.set_option('display.max_colwidth', 1000)
# pd.set_option('display.height', 1000)
#显示所有列
pd.set_option('display.max_columns', None)
#显示所有行
pd.set_option('display.max_rows', None)

movies = pd.read_csv('E:\\大数据作业，可删\\MathorCup大数据竞赛练习题1\\data\\tmdb_5000_movies.csv', encoding='utf_8')
credits = pd.read_csv('E:\\大数据作业，可删\\MathorCup大数据竞赛练习题1\\data\\tmdb_5000_credits.csv', encoding='utf_8')
movies.info()  # 查看信息
credits.info()
# 两个数据框都有title列，以及movies.riginal_title
# 以上三个数据列重复，删除两个
del credits['title']
del movies['original_title']

# 连接两个csv文件
merged = pd.merge(movies, credits, left_on='id', right_on='movie_id', how='left')

# 删除不需要分析的列
df = merged.drop(['homepage', 'overview', 'spoken_languages', 'status', 'tagline', 'movie_id'], axis=1)
#df.info()
# 查找缺失值记录-release_date
df[df.release_date.isnull()]
x = df[df.release_date.isnull()]
# 填充缺失值
df['release_date'] = df['release_date'].fillna('2014-06-01')
# 查找缺失值记录-runtime
df[df.runtime.isnull()]
# 根据行标签，填充缺失值
df.loc[2656] = df.loc[2656].fillna('94, limit=1')
df.loc[4140] = df.loc[4140].fillna('240, limit=1')
#重复值处理
len(df.id.unique())
#print(len(df.id.unique()))

#转换日期格式，增加 年份 月份 日 列
#如果日期不符合时间戳限制，则errors ='ignore'将返回原始输入，而不会报错。
#errors='coerce'将强制超出NaT的日期，返回NaT。

df['release_year'] = pd.to_datetime(df.release_date, format = '%Y-%m-%d',errors='coerce').dt.year
df['release_month'] = pd.to_datetime(df.release_date).apply(lambda x: x.month)
df['release_day'] = pd.to_datetime(df.release_date).apply(lambda x: x.day)
#df.info()

#筛选数据
df.describe()
#print(df.describe())
df = df[(df.vote_count >= 50) &(df.budget * df.revenue * df.popularity * df.vote_average !=0)].reset_index(drop = 'True')

#df.info()
#处理json
json_column = ['genres', 'keywords', 'production_companies', 'production_countries', 'cast', 'crew']

# 1-json本身为字符串类型，先转换为字典列表
for i in json_column:
    df[i] = df[i].apply(json.loads)


# 提取name
# 2-将字典列表转换为以','分割的字符串
def get_name(x):
    return ','.join([i['name'] for i in x])


df['cast'] = df['cast'].apply(get_name)


# 提取derector
def get_director(x):
    for i in x:
        if i['job'] == 'Director':
            return i['name']


df['crew'] = df['crew'].apply(get_director)

for j in json_column[0:4]:
    df[j] = df[j].apply(get_name)

# 重命名
rename_dict = {'cast': 'actor', 'crew': 'director'}
df.rename(columns=rename_dict, inplace=True)
#df.info()
df.head(5)
# 备份原始数据框original_df
org_df = df.copy()
df.reset_index().to_csv("TMDB_5000_Movie_Dataset_Cleaned.csv")

# 定义一个集合，获取所有的电影类型
genre = set()
for i in df['genres'].str.split(','): # 去掉字符串之间的分隔符，得到单个电影类型
    genre = set().union(i,genre)    # 集合求并集
    # genre.update(i) #或者使用update方法

#print(genre)

genre.discard('') # 去除多余的元素
print(genre)
#将genre转变成列表
genre_list = list(genre)

# 创建数据框-电影类型
genre_df = pd.DataFrame()

#对电影类型进行one-hot编码
for i in genre_list:
    # 如果包含类型 i，则编码为1，否则编码为0
    genre_df[i] = df['genres'].str.contains(i).apply(lambda x: 1 if x else 0)

#将数据框的索引变为年份
genre_df.index = df['release_year']
genre_df.head(5)
#print(genre_df.head(5))

# 计算得到每种类型的电影总数目，并降序排列
grnre_sum = genre_df.sum().sort_values(ascending = False)
# 可视化
plt.rcParams['font.sans-serif'] = ['SimHei']  #用来显示中文
grnre_sum.plot(kind='bar',label='genres',figsize=(12,9))
plt.title('不同类型的电影数量总计',fontsize=20)
plt.xticks(rotation=60)
plt.xlabel('电影类型',fontsize=16)
plt.ylabel('数量',fontsize=16)
plt.grid(False)
plt.savefig("不同电影类型数量-条形图.png",dpi=300) #在 plt.show() 之前调用 plt.savefig()
#plt.show()


gen_shares = grnre_sum / grnre_sum.sum()

# 设置other类，当电影类型所占比例小于%1时，全部归到other类中
others = 0.01
gen_pie = gen_shares[gen_shares >= others]
gen_pie['others'] = gen_shares[gen_shares < others].sum()

# 设置分裂属性
# 所占比例小于或等于%2时，增大每块饼片边缘偏离半径的百分比
explode = (gen_pie <= 0.02)/10

# 绘制饼图
gen_pie.plot(kind='pie',label='',explode=explode,startangle=0,
                    shadow=False,autopct='%3.1f%%',figsize=(8,8))

plt.title('不同电影类型所占百分比',fontsize=20)
plt.savefig("不同电影类型所占百分比-饼图.png",dpi=300)
#plt.show()

#电影类型随时间变化的趋势
gen_year_sum = genre_df.sort_index(ascending = False).groupby('release_year').sum()
gen_year_sum_sub = gen_year_sum[['Drama','Comedy','Thriller','Action','Adventure','Crime','Romance','Science Fiction']]
gen_year_sum_sub.plot(figsize=(12,9))
plt.legend(gen_year_sum_sub.columns)
plt.xticks(range(1915,2018,10))
plt.xlabel('年份', fontsize=16)
plt.ylabel('数量', fontsize=16)
plt.title('不同电影变化趋势', fontsize=20)

plt.grid(False)
plt.savefig("不同电影类型数量-折线图2.png",dpi=600)
#plt.show()

df.info()

df['profit'] = df['revenue']-df['budget']
# 计算不同电影类型的利润
# Step1-创建profit_dataframe
profit_df = pd.DataFrame()
profit_df = pd.concat([genre_df.reset_index(), df['profit']], axis=1)
df.info()
# Step2-创建profit_series，横坐标为genre
profit_s=pd.Series(index=genre_list)
# Step3-求出每种genre对应的利润均值
for i in genre_list:
    profit_s.loc[i]=profit_df.loc[:,[i,'profit']].groupby(i, as_index=False).mean().loc[1,'profit']
profit_s = profit_s.sort_values(ascending = True)
profit_s

# 计算不同类型电影的budget
# Step1-创建profit_dataframe
budget_df = pd.DataFrame()
budget_df = pd.concat([genre_df.reset_index(), df['budget']], axis=1)
# Step2-创建budget_series，横坐标为genre
budget_s=pd.Series(index=genre_list)
# Step3-求出每种genre对应的预算均值
for j in genre_list:
    budget_s.loc[j]=budget_df.loc[:,[j,'budget']].groupby(j, as_index=False).mean().loc[1,'budget']
budget_s

# 再接着，横向合并 profit_s 和 budget_s
profit_budget = pd.concat([profit_s, budget_s], axis=1)
profit_budget.columns = ['profit', 'budget']

#添加利润率列
profit_budget['rate'] = (profit_budget['profit']/profit_budget['budget'])*100
# 降序排序
profit_budget_sort=profit_budget.sort_values(by='budget',ascending = False)
profit_budget_sort.head(2)

# 绘制不同类型电影平均预算和利润率（组合图）
x = profit_budget_sort.index
y1 = profit_budget_sort.budget
y2 = profit_budget_sort.rate
# 返回profit_budget的行数
length = profit_budget_sort.shape[0]

fig = plt.figure(figsize=(12,9))
# 左轴
ax1 = fig.add_subplot(1,1,1)
plt.bar(range(0,length),y1,color='b',label='平均预算')
plt.xticks(range(0,length),x,rotation=90, fontsize=12)  # 更改横坐标轴名称
ax1.set_xlabel('年份')                   # 设置x轴label ,y轴label
ax1.set_ylabel('平均预算',fontsize=16)
ax1.legend(loc=2,fontsize=12)

#右轴
# 共享x轴，生成次坐标轴
ax2 = ax1.twinx()
ax2.plot(range(0,length),y2,'ro-.')
ax2.set_ylabel('平均利润率',fontsize=16)
ax2.legend(loc=1,fontsize=12)

# 将利润率坐标轴以百分比格式显示
import matplotlib.ticker as mtick
fmt='%.1f%%'
yticks = mtick.FormatStrFormatter(fmt)
ax2.yaxis.set_major_formatter(yticks)

# 设置图片title
ax1.set_title('不同类型电影平均预算和利润率',fontsize=20)
ax1.grid(False)
ax2.grid(False)
plt.savefig("不同电影平均预算+利润率.png",dpi=300)
plt.show()

# 绘制不同类型电影预算和利润（条形图）
profit_budget_sort.iloc[:,0:2].plot(kind='bar', figsize=(12,9),color = ['darkorange','b'])
plt.title('Budget and Profit',fontsize = 20)
plt.xlabel('len',fontsize = 16)
plt.grid(False)
plt.savefig('不同类型电影预算和利润-条形图.png',dpi=300)
plt.show()

#keywords关键词分析
keywords_list = []
for i in df['keywords']:
    keywords_list.append(i)
    keywords_list
#把字符串列表连接成一个长字符串
lis = ''.join(keywords_list)
lis.replace('\'s','')
#设置停用词
stopwords = set(STOPWORDS)
stopwords.add('film')
wordcloud = WordCloud(
                background_color = 'black',
                random_state=9, # 设置一个随机种子，用于随机着色
                stopwords = stopwords,
                max_words = 3000,
                scale=1).generate(lis)
plt.figure(figsize=(10,6))
plt.imshow(wordcloud)
plt.axis('off')
plt.savefig('词云图.png',dpi=300)
#plt.show()

df.runtime.head(5)
# 转换数据类型
# df.runtime = df.runtime.convert_objects(convert_numeric=True)
# df.runtime.describe()
# print(df.runtime.head(5))

# sns.set_style('white')
# sns.distplot(df.runtime,bins = 20)
# sns.despine(left = True) # 使用despine()方法来移除坐标轴，默认移除顶部和右侧坐标轴
# plt.xticks(range(50,360,20))
# plt.savefig('电影时长直方图.png',dpi=300)
# plt.show()