数据分析学习笔记(1):工作环境以及建模理论基础
零、Python语言基础复习
一、环境部署
1.python包管理：
(1)安装：pip install xxx,conda install xxx
(2)卸载：pip uninstall xxx, conda uninstall xxx
(3)升级：pip install -upgrade xxx, conda update xxx
2.IDE
1)Jupyter notebook:
(1)Anaconda自带，无需单独安装
(2)记录思考过程，实时查看运行进程
(3)基于web的在线编辑器(本地)
(4).ipynb文件分享
(5)可交互式
(6)记录历史运行结果
(7)支持Markdown，Latex
2)IPython
(1)Anaconda自带，无需单独安装
(2)Python的交互式命令行Shell
二、NumPy数据结构以及向量化
1.Numpy :Numerical Python
(1)高性能科学计算和数据分析(pandas)的基础包，提供多维数组对象
(2)ndarray，多维数组(矩阵)，具有矢量运算能力，快速、节省空间
(3)矩阵运算，无需循环，可完成类似Matlab中的矢量运算
(4)线性代数、随机数生成
(5)import numpy as np
2.Scipy
(1)在NumPy库的基础上增加了众多数学、科学以及工程常用的库函数
(2)现行代数、微分方程求解、信号处理、图像处理、系数矩阵等
(3)import scipy as sp
3.NumPy数据结构
(1)ndarray，N维数组对象(矩阵)
所有元素类型必须相同
ndim属性 维度的个数
shape属性，各维度的大小
dtype属性，数据类型
(2)创建ndarray
np.array(collection)，collection为序列性对象(list)，嵌套序列(list of list)
np.zeros,np.ones,no.empty指定大小全为0或者全为1的数组
注意：第一个参数是元组，用来指定大小，如(3,4)
empty不是总是返回全0，有时候返回的是未初始的随机值
4.代码学习
(1)生成两行三列的随机数，并打印出数据的类型
(2)分别打印出刚才创建的维度的个数，维度大小以及数据类型
(3)全0，全1以及全空
5.索引与切片
(1)一维数组的索引与Python的列表索引功能相似
(2)多维数组的索引
arr[r1:r2,c1:c2]
arr[1,1]等价于arr[1][1]
[:]代表某个维度的数据
arr[1:,1:]代表访问数组中第1行到第2行以及第1列到第2列的数据
(3)条件索引
布尔值多维数组arr[condition]condition可以是多个条件的组合。
注意，多个条件组合要使用& | 而不是and or
(4)维数转换transpose
转换数组转置要指定维度编号(0,1,2,3.....)
(5)np.where
矢量版本的三元表达式 x if condition else y 如果条件满足就是x否则就是y
np.where(conditoin,x,y) 满足条件就是x，不满足条件就是y
(6)常用的统计方法
np.mean,np,sum
np.max,np.min
np.std（标准差），np.argmin（方差）
np.cumsum（），np.cumprod()
注意要是多维的话，要指定统计的维度
np.all和np.any:all是满足全部条件；any至少有一个元素满足
np.unique:找到唯一元素并返回排序结果
三、向量化
1.向量化
(1)获得执行速度更快、更加紧凑的代码策略
(2)基本思路："一次"在一个复杂的对象上进行操作，或者向其应用某个函数，而不是通过在对象的单个元素上循环来进行
(3)在python级别上，函数式编程工具map,filter和reduce提供了向量化的手段
(4)在numpy级别上，在ndarray对象的循环由经过高度优化的代码复杂，大部分代码用C编写，远快于python
(5)矢量间的运算，相同大小的数组间运算应用在元素上
(6)矢量和标量运算，"广播"-广播到各个元素
2.通常函数(ufunc)
(1)元素级运算
(2)常用的通用函数
ceil，向上最接近的整数
floor，向下最接近的整数
rint，四舍五入
isnan，判断元素是否为NaN(Not a Number)
multiply，元素相乘
divide，元素相除
三、数据分析建模理论基础
1.任务分类：(1)分类；(2)回归；(3)聚类；(4)时序分析
2.分类与回归：
(1)应用：信用卡申请人风险评估、预测公司业务增长量、预测房价等
(2)原理：将数据映射到预先定义的群组或者类。算法要求基于数据属性值来定义类别，把具有某些特征的数据项映射到给定的某个类别上。
(3)回归：用属性的历史数据来预测未来的趋势。算法首先假设一些已知类型的函数可以拟合目标函数、然后利用某种误差分析来确定一个与目标函数拟合程度最好的函数
(4)区别：分类模型采用离散预测值，回归模型采用连续的预测值
3.聚类：(1)应用：
