基于泰坦尼克号 - 机器从灾难中学习

　　　　　　        基于泰坦尼克号 - 机器从灾难中学习

一，选题背景

　　这是传说中的泰坦尼克号ML比赛-最好的，并熟悉自己如何Kaggle平台的工作原理。竞争很简单：使用机器学习来创建一个模型，预测哪些乘客在泰坦尼克号沉船事故中幸存下来。泰坦尼克号沉没是历史上最臭名昭著的沉船事件之一。1912年4月15日，在她的处女航中，被广泛认为是"不沉"的"泰坦尼克号"在与冰山相撞后沉没。不幸的是，船上没有足够的救生艇，导致2224名乘客和船员中有1502人死亡。虽然生存中有一些运气因素，但似乎有些人比其他人更有可能生存下来。

 

二，机器学习设计方案

提出问题-->理解数据-->数据清洗-->构建模型-->方案实施

 

三，实现步骤

1.导入数据

数据集来源：https://www.kaggle.com/c/titanic/data

 

import pandas as pd
import numpy as np

# 读取数据
train = pd.read_csv("D:\\Anaconda\\jupyter_data\\titanic\\train.csv")
test = pd.read_csv("D:\\Anaconda\\jupyter_data\\titanic\\test.csv")

# train = pd.read_csv("D:/Anaconda/jupyter_data/titanic/train.csv")
# test = pd.read_csv("D:/Anaconda/jupyter_data/titanic/test.csv")
print('train:',train.shape, "test:",test.shape)

# 合并数据集，方便同时对两个数据进行清洗
full = train.append(test, ignore_index = True)
print('合并后的数据集：',full.shape)

 

 

 

2.初步查看数据集概要信息

# 查看数据
full.head()

 

 

 

# 获取数据类型描述统计信息
full.describe()

 

 

 

# 查看每一列数据类型和数据总数
full.info()

 

 

 

3.数据清洗

（1）处理缺失数据 

　

# age和fare都存在缺失值，且为浮点数类型，可使用平均值进行填充

full['Age'] = full['Age'].fillna(full['Age'].mean())
full['Fare'] = full['Fare'].fillna(full['Fare'].mean())

# 填充客舱号（Cabin）
full['Cabin'].head()

 

 

 

# Cabin 这一列缺失值较多且无规律，直接填充U（unknow）
full['Cabin'] = full['Cabin'].fillna('U')

# 出发地点：S=南安普敦  途经地点：C=瑟堡，Q=皇后镇
full['Embarked'].head()

 

 

 

 

 

 

 

# 统计各个出发地点出现的次数
from collections import Counter
print(Counter(full['Embarked']))

 

 

 

# 由于登船港口（Emabrked）这一列只有两个缺失值，将填充为 最频繁出现的S
full['Embarked'] = full['Embarked'].fillna('S')

# 再次查看最终缺失值处理情况
full.info()

(2)提取特征

"""
将性别的值映射为数值，
male --> 1
female --> 0
"""
sex_mapDict = {'male':1, 'female':0}
# map函数：对于Series 每个数据应用自定义函数计算
full['Sex'] = full['Sex'].map(sex_mapDict)
full.head()

 

 

full['Embarked'].head()

 

 

 

 

 

 

 

# 存放提取后的特征
embarkedDF = pd.DataFrame()

# 使用get_dummies进行one-hot编码，列名前缀为Embarked
embarkedDF = pd.get_dummies(full['Embarked'],prefix = 'Embarked')
embarkedDF.head()

 

 

 

 

 

 

# 添加one-hot编码产生的虚拟变量（dummy variables）到泰坦尼克号数据集full
full = pd.concat([full, embarkedDF], axis = 1)

# 因已对登船港口（Embarked）进行了one-hot编码产生虚拟变量，故删除 Embarked
full.drop('Embarked', axis = 1, inplace = True)
full.head()

 

 

 

# 存放提取后的特征
pclassDf = pd.DataFrame()

# 使用get_dummies进行one-hot编码，列名前缀为Pclass
pclassDf = pd.get_dummies(full['Pclass'], prefix = 'Pclass')
pclassDf.head()

 

 

 

full = pd.concat([full, pclassDf], axis = 1)

full.drop('Pclass', axis = 1, inplace = True)
full.head()

 

 

 

full['Name'].head()

 

 

 

# 从姓名中获取头衔
# split（）通过制定分隔符对字符串进行切片
def getTitle(name):
    str1 = name.split(',')[1]
    str2 = str1.split('.')[0]
    # strip()移除字符串头尾制定的字符（默认为空格）
    str3 = str2.strip()
    return str3

titleDf = pd.DataFrame()

# map函数：对于Series每个数据应用自定义函数计数
titleDf['Title'] = full['Name'].map(getTitle)
titleDf.head()

 

 

 

# 从姓名中头衔字符串与自定义头衔类别的映射
title_mapDict = {
    'Capt':'Officer',
    'Col':'Officer',
    'Major':'Officer',
    'Jonkheer':'Royalty',
    'Don':'Royalty',
    'Sir':'Royalty',
    'Dr':'Officer',
    'Rev':'Officer',
    'the Countess':'Royalty',
    'Dona':'Royalty',
    'Mme':'Mrs',
    'Mlle':'Miss',
    'Mr':'Mr',
    'Mrs':'Mrs',
    'Miss':'Miss',
    'Master':'Master',
    'Lady':'Royalty'
}
# print(title_mapDict)
titleDf['Title'] = titleDf['Title'].map(title_mapDict)
# 使用get——dummies进行one-hot编码
titleDf = pd.get_dummies(titleDf['Title'])
titleDf.head()

 

 

 

# 添加one-hot编码产生的虚拟变量到泰坦尼克号数据集full
full = pd.concat([full, titleDf], axis = 1)

# 删除姓名（Name）这一列
full.drop('Name', axis = 1, inplace = True)
full.head()

 

 

 

full['Cabin'].head()

 

 

 

# 存放客舱号信息
cabinDf = pd.DataFrame()

# 客舱号的类别值是首字母， eg：C85

#定义匿名函数 lambda，用于查找首字母
full['Cabin'] = full['Cabin'].map(lambda c:c[0])

# 使用get_dummies 进行one-hot 编码， 列名前缀为Cabin
cabinDf = pd.get_dummies(full['Cabin'], prefix = 'Cabin')
cabinDf.head()

 

 

 

# 添加one-hot编码产生的虚拟变量到泰坦尼克号数据集full
full = pd.concat([full, cabinDf], axis = 1)
# 删除客舱号等级（Pclass）这一列
full.drop('Cabin', axis = 1, inplace = True)
full.head()

 

 

 

 

 

 

 

# 存放家庭信息
familyDf = pd.DataFrame()
# 家庭人数 = 同代直系亲属数（SibSp）+ 不同代直系亲属数（Parch）+ 乘客自己
familyDf['Familysize'] = full['SibSp'] + full['Parch'] + 1
"""
家庭类别：
小家庭Family_Single：家庭人数=1
中等家庭Family_Small：2<=家庭人数<=4
大家庭Family_Large:家庭人数>=5
"""
# if条件为真是返回if前面内容， 否则返回0
familyDf['Family_Single'] = familyDf['Familysize'].map(lambda s : 1 if s == 1 else 0)
familyDf['Family_Small'] = familyDf['Familysize'].map(lambda s : 1 if 2 <= s <=4 else 0)
familyDf['Family_Large'] = familyDf['Familysize'].map(lambda s : 1 if s >= 5 else 0)
familyDf.head()

 

 

 

# 添加one-hot编码产生的虚拟变量到泰坦尼克号数据集full
full = pd.concat([full, familyDf], axis = 1)
full.head()

 

 

 

 

 

 

# 存放年龄信息
ageDf = pd.DataFrame()
"""
年龄类别：
儿童Child：0<年龄<=6
青少年Teenager：6<年龄<18
青年Youth：18<=年龄<=40
中年Middle_age：40<年龄<=60
老年Older:60<年龄
"""
ageDf['Child'] = full['Age'].map(lambda a : 1 if 0 < a <= 6 else 0)
ageDf['Teenager'] = full['Age'].map(lambda a : 1 if 6 < a < 18 else 0)
ageDf['Youth'] = full['Age'].map(lambda a : 1 if 18 <= a <= 40 else 0)
ageDf['Middle_age'] = full['Age'].map(lambda a : 1 if 40 < a <= 60 else 0)
ageDf['Older'] = full['Age'].map(lambda a : 1 if a > 60 else 0)
ageDf.head()

 

 

 

 

 

 

# 添加one-hot编码产生的虚拟变量到泰坦尼克号数据集full
full = pd.concat([full, ageDf], axis = 1)
# 删除Age这一列
full.drop('Age', axis = 1, inplace = True)
full.head()

 

 

 

# 查看现已有的特征
full.shape

(3)特征选择

# 相关矩阵
corrDf = full.corr()
corrDf

 

 

 

# 查看各个特征与生成情况（Survived）的相关系数，ascending = False表示按降序排列

corrDf['Survived'].sort_values(ascending = False)

 

 

 

 

 

 

 

# 特征选择
full_X = pd.concat([
    titleDf,  # 头衔
    pclassDf,
    full['Fare'],
    full['Sex'],
    cabinDf,
    embarkedDF
], axis = 1)
full_X.head()

 

 

 

 

 

 

4构建模型

（1）建立训练集和测试集

# 原始数据共有891行
sourceRow = 891
"""
原始数据集sourceRow是从Kaggle下载的训练集，可知共有891条数据从特征集
full_X中提取原始数据前891行数据时需减去1，因为行号是从0开始
"""
# 原始数据集：特征
source_X = full_X.loc[0:sourceRow-1,:]
# 原始数据集：标签
source_y = full.loc[0:sourceRow-1,'Survived']
# 预测数据集：特征
pred_X = full_X.loc[sourceRow:,:]
# 查看原始数据集有多少行
print('原始数据集：', source_X.shape[0])
# 查看预测数据集有多少行
print('预测数据集：',pred_X.shape[0])

 

 

 

 

 

 

# from sklearn.cross_validation import train_test_split
from sklearn.model_selection import train_test_split

# 建立模型所需的训练数据集合测试集
train_X,test_X,train_y,test_y = train_test_split(source_X,source_y,train_size=0.8)
# 输出数据集大小
print('原始数据集特征：',source_X.shape,
     '训练数据集特征：',train_X.shape,
     '测试数据集特征：',test_X.shape,)
print('原始数据集标签：',source_y.shape,
     '训练数据集标签：',train_y.shape,
     '测试数据集标签：',test_y.shape,)

 

 

 

 

 

 

 

# 查看原始数据集标签
source_y.head()

 

 

 

(2)选择机器学习算法

# 第一步：导入算法
from sklearn.linear_model import LogisticRegression
# 第二步：创建模型：逻辑回归
model = LogisticRegression()

# 第三步：训练模型
model.fit(train_X, train_y)

 

 

 

 

# 第四步评估模型
# 分类问题 score 得到的是模型正确率
model.score(test_X, test_y)

 

 

 

 

 

 

5实施方案

# 使用机器学习模型，对预测数据集中的生存情况进行预测
pred_y = model.predict(pred_X)

# 生成的预测值是浮点数，但是Kaggle要求提交的结果是整数型
# 使用astype对数据类型进行转换
pred_y = pred_y.astype(int)
# 乘客id
passenger_id = full.loc[sourceRow:,'PassengerId']
# 数据框：乘客id， 预测生存情况
predDf = pd.DataFrame({'PassengerId':passenger_id, 'Survived':pred_y})
predDf.shape
predDf.head()

 

 

 

# 保存结果
predDf.to_csv('./titanic_pred.csv', index=False)

 

 

 四，总结

1，通过对泰坦尼克号 - 机器从灾难中学习过程实现，得到了0.81的精度，

2，完成设计过程中，机器学习过程时间过于长需要一直跑测试集，需要改进的地方是如果还将性别变量转换为数字
x[性别][labelencoder_x.fit_转换（x[[性']），问题可能会得到解决。