02_机器学习概述、dataSet、特征工程【day1】

0、Xmind

 

1、机器学习概述

1.what is ML?

　　data 规律 预测

 　　

 

2. why need the ML?

　　

2.what feild of ML?

　　

 

 4.what worth of ML?

　　替换手动，减少企业成本

　　 

2、数据集的结构

1. data来源

　　企业日益积累的大量数据（互联网公司更为显著）

　　 政府掌握的各种数据

　　科研机构的实验数据

　　… ...

 

2.data of ML

　　文件格式：csv

　　myql: 1) 性能瓶颈、读取seed

　　　　　2) 格式of data

　　pandas: read tool

　　numpy: 释放了GIL  (cpython中的历史遗留，Jpython无)

 

3.useful dataset

　　Kaggle网址：https://www.kaggle.com/datasets

　　UCI数据集网址： http://archive.ics.uci.edu/ml/

　　scikit-learn网址：http://scikit-learn.org/stable/datasets/index.html#datasets

　　

4.dataset的结构组成

　　结构： 特征值+目标值

　　dataFrame

  

 

5.data的特征处理：pandas、sklearn

　dataFrame  缺失值，data transform

　ML中的data： 重复值？ don't need to 去重

　

　　皮肤的颜色如何转换成计算机识别的data？

　　　　sklearn: 对特征的处理

　　　　panads：read tool

　　

　　

 

3、数据的特征工程

1、特征工程的影响

　　why 不同teams 的score 不同？

　　　　

　　特征工程影响：the same 算法 ，the same dataset，“特征处理”不同，scores不同

　　　　

2、what is 特征工程

　　提高效果

　　

 

3、what mean of 特征工程

　　直接影响预测的result

 　　

4、scikit-learn工具介绍

　　1)  scikit-learn库的安装

　　　　　　python、ML算法、文档、易上手、丰富api、0.19

　　 　　

　　　　　　　

　　2) 安装

创建一个基于Python3的虚拟环境(可以在你自己已有的虚拟环境中)：
    mkvirtualenv  –p  /usr/bin/python3.5  ml3

在ubuntu的虚拟环境当中运行以下命令
    pip3 install Scikit-learn 

然后通过导入命令查看是否可以使用：
    import sklearn

　　注：安装scikit-learn需要Numpy,pandas等库

 　　pip3 install numpy

　　 pip3 install pandas

 

　　3) 各种算法