人工智能 也是数据分析
1.Python数据分析入门
数据分析:就是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来,总结出所研究对象的内在规律。
Python数据分析常用库：Numpy,Pandas,Matplotlib,scripy和Scikit-Learn。
2.Numpy库
NumPy 通常与 SciPy（Scientific Python）和 Matplotlib（绘图库）一起使用， 这种组合广泛用于替代 MatLab，是一个强大的科学计算环境，有助于我们通过 Python 学习数据科学或者机器学习。
2.1.Numpy的应用
SciPy 是一个开源的 Python 算法库和数学工具包。
SciPy 包含的模块有最优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算。
Matplotlib 是 Python 编程语言及其数值数学扩展包 NumPy 的可视化操作界面。它为利用通用的图形用户界面工具包，如 Tkinter, wxPython, Qt 或 GTK+ 向应用程序嵌入式绘图提供了应用程序接口（API）。
2.2.Numpy库中常混用的方法
NumPy的主要对象是同构多维数组.他是一个元素表(通常是数字),都是相同的类型,有正整数元组索引,在NumPy维度中成为轴.
例如,3D空间中的点的坐标[1,2,1]具有一个轴,该轴有三个元素,所以说它的长度为3,在下面所示的例子中,数组有两个轴,第一个轴长度为2,第二个轴的长度为3（通俗的说就是两行三列）.
[[ 1., 0., 0.], [ 0., 1., 2.]]
NumPy的数组类被调用ndarray。它也被别名所知 array。请注意，numpy.array这与标准Python库类不同array.array，后者只处理一维数组并提供较少的功能。ndarray对象更重要的属性是：
ndarray.ndim --- 数组的轴数(尺寸)
ndarray.shape --- 数组的大小,这是一个整数元组,表示每个维度中数组的大小,对于具有n行和m列的矩阵,shape将是(n,m).shape因此元组的长度是轴的数量ndim
ndarray.size --- 数组的元素总数。这等于元素的乘积shape
ndarray.itemsize --- 数组中每个元素的大小（以字节为单位）。例如，类型的元素数组float64有itemsize8（= 64/8），而其中一个类型complex32有itemsize4（= 32/8）。它相当于ndarray.dtype.itemsize。
ndarray.data --- 包含数组实际元素的缓冲区。通常，我们不需要使用此属性，因为我们将使用索引工具访问数组中的元素。
#Numpy、数组array概念初识 import numpy as np a = np.arange(15).reshape(3,5)#创建二维数组 print(a.shape) # 查看每个维度中数组的大小 #结果：（3，5） print(a.ndim) # 数组的轴数,二维数组 #结果：2 print(a.dtype.name) # 描述数组中元素类型的对象 #结果：int32 print(a.itemsize) # 数组中每个元素的大小为4字节 #结果：4 print(a.size) # 数组的元素总数 #结果：15 print(type(a)) #结果：<class 'numpy.ndarray'> #创建一个数组 import numpy as np from numpy import array b = np.array([6, 7, 8]) b1 = array([6, 7, 8]) # 创建一个数组 print(type(b)) #<class 'numpy.ndarray'> print(type(b1)) #<class 'numpy.ndarray'> np.array([[1,2,3],['a','b',1.1]]) # 创建一个二维数组 array([['1', '2', '3'],['a', 'b', '1.1']], dtype='<U11')
2.3.数组的创建
创建数组有以下几种方法：
使用array函数从常规python列表或元组创建数组,结果数组的类型是从序列中元素的类型推导出来的
import numpy as np a = np.array([2,3,4]) print(a.dtype) #结果：int32 b = np.array([1.2, 3.5, 5.1]) print(b.dtype) #结果：float64
注意:
- numpy默认ndarray的所有元素的类型是相同的
- 如果传进来的列表中包含不同的类型,则统一为统一类型,优先级 str > float > int
也可以在创建时显式指定数组类型:
b = np.array([(1.5,2,3), (4,5,6)]) print(b) #结果： [[1.5 2. 3. ] [4. 5. 6. ]] c = np.array([[1,2],[3,4]],dtype=complex) print(c) #结果： [[1.+0.j 2.+0.j] [3.+0.j 4.+0.j]]
通常，数组的元素最初是未知的，但其大小是已知的。因此，NumPy提供了几个函数来创建具有初始占位符内容的数组。
函数zeros创建一个充满零的数组,
函数ones创建一个完整的数组,
函数empty创建一个数组,其初始内容是随机的,取决于内存的状态.默认情况下,创建的数组的dtype是float64。
a = np.zeros((3,3)) b = np.ones((2,3,4),dtype=np.int16) c = np.empty((3,3)) print(a) #结果： [[0. 0. 0.] [0. 0. 0.] [0. 0. 0.]] print(b) #结果： [[[1 1 1 1] [1 1 1 1] [1 1 1 1]] [[1 1 1 1] [1 1 1 1] [1 1 1 1]]] print(c) #结果： [[9.486e-322 0.000e+000 0.000e+000] [0.000e+000 0.000e+000 1.146e-321] [0.000e+000 0.000e+000 0.000e+000]]
为了创建数字序列,NumPy提供了一个类似于range返回数组而不是列表的函数
arange和Python里的range非常相似；arange产生的也是一个连续序列。序列的类型不再是列表，是数组array。两数组可以直接相加，在numpy内部完成循环。
a = np.arange( 10, 30, 5 )
b =np.arange( 0, 2.2) # it accepts float arguments
print(a)
print(b)
# 第一个参数开始数字,第二个是结束数字,第三个类似步长
当arange与浮点参数一起使用时，由于有限的浮点精度，通常不可能预测所获得的元素的数量。出于这个原因，通常最好使用linspace作为参数接收我们想要的元素数量的函数，而不是步骤：
e = np.linspace( 0,2,9) print(e) # # from numpy import pi f =np.linspace(0,2*pi,100) print(f) *****************两组不一样的结果****************** e = np.arange( 0,2,9) print(e) # # from numpy import pi f =np.arange(0,2*pi,100) print(f)
2.4数组打印
当您打印数组时，NumPy以与嵌套列表类似的方式显示它，但具有以下布局：
- 最后一个轴从左到右打印，
- 倒数第二个是从上到下打印的，
- 其余部分也从上到下打印，每个切片用空行分隔。
然后将一维数组打印为行，将二维数据打印为矩阵，将三维数据打印为矩阵列表。
a = np.arange(6) # 然后将一维数组打印为行 print(a) b = np.arange(12).reshape(4,3) # 将二维数据打印为矩阵 print(b) c = np.arange(24).reshape(2,3,4) # 将三维数据打印为矩阵列表 print(c)
如果数组太大而无法打印，NumPy会自动跳过数组的中心部分并仅打印角落：
print(np.arange(10000)) [ 0 1 2 ..., 9997 9998 9999] print(np.arange(10000).reshape(100,100)) [[ 0 1 2 ..., 97 98 99] [ 100 101 102 ..., 197 198 199] [ 200 201 202 ..., 297 298 299] ..., [9700 9701 9702 ..., 9797 9798 9799] [9800 9801 9802 ..., 9897 9898 9899] [9900 9901 9902 ..., 9997 9998 9999]]
要禁用此行为并强制NumPy打印整个阵列，可以使用更改打印选项set_printoptions。
np.set_printoptions(threshold=np.nan)
2.5.数组的基本操作
数组上的算术运算符应用于元素。创建一个新数组并填充结果。
a = np.array([[1,2],[3,4]]) b = np.array([[5,6],[7,8]]) s1 = a+b s2 = a-b s3 = a**2 print(s1) print(s2) print(s3) print(a<3) print(a@b)
某些操作（例如+=和）*=用于修改现有阵列而不是创建新阵列。
a = np.ones((2,3), dtype=int)
b = np.random.random((2,3))
print(a)
print(b)
a *= 3
b += a
a += b #TypeError: Cannot cast ufunc add output from dtype('float64') to dtype('int64') with casting rule 'same_kind'
这是因为优先级问题str > float > int
当使用不同类型的数组进行操作时，结果数组的类型对应于更一般或更精确的数组（称为向上转换的行为）
from numpy import pi
a = np.ones(3, dtype=np.int32)
b = np.linspace(0,pi,3)
print(a.dtype.name)
print(b.dtype.name)
c = a+b
print(c)
print(c.dtype.name)
d = np.exp(c*1j)
print(d)
print(d.dtype.name)
许多一元操作，例如计算数组中所有元素的总和，都是作为ndarray类的方法实现的。
a = np.random.random((2,3)) a.sum() a.min() a.max()
默认情况下，这些操作适用于数组，就像它是一个数字列表一样，无论其形状如何。但是，通过指定axis 参数，您可以沿数组的指定轴应用操作：
b = np.arange(12).reshape(3,4) b.sum(axis=0) # 列的总和 b.min(axis=1) # 行的总和 array([0, 4, 8]) b.cumsum(axis=1) # cumulative sum along each row
3.数据可视化
3.1.matplotlib库（数学绘图库：math数学、plot绘图、lib库）
matplotlib.pyplot(缩写）
定制化绘图：.mp.plot(xxx,linestyle=线型,linewidth=线宽，color=颜色）
看手册功能：help(mo.plot)
设置图标范围
mp.xlim(左边界，右边界）
mp.ylim(底边界，顶边界)
显示弧度值：
mp.xticks(刻度位置数组，刻度文本数组)
mp.yticks(刻度位置数组，刻度文本数组)
刻度转义方法：[r'$-\pi$',r'$-\frac{\pi}{2}$',r'$0$',r'$\frac{\pi}{2}$',r'$\frac{3\pi}{4}$',r'$\pi$']
引十字坐标：
作用：拿到框线的轴
ax = mp.gca() #获取当前坐标轴
ax.spines['left'].set_position(('data',0)) #设置位置边框（有四边）
ax.spines['left'].set_color(颜色) #设置位置边框颜色。
显示图例和位置
mp.plot（...，lable=r'$y=sin(x)$'）
mp.legend(loc='uper left')
标记一些特殊点
散点图（不连线）
mp.scatter(水平坐标数组，垂直坐标数组，marker=点型，s=大小，edgecolor=勾边色，facecolor=填充色，zorder=Z序）
Z序就是绘画的顺序，zorder数越大，点越晚压在线上。matplotlib绘画顺序是先画点 再画线。
图上做注释：
mp.annotate(备注文本，xy=目标位置，xycoords=目标坐标系，xytext=文本位置，textcoorder=文本坐标系，fontsize=文字大小，arrowprops=箭头属性）
4.图形对象
具体写法：
mp.figure（图形对象名，figsize=窗口大小，dpi=分辨率，facecolor=窗口颜色）
mp.figure()方法：第一次调用是创建，第二次调用为再次置为当前窗口。
mp.title()写标题：mp.title('xxx',fontsize=20)
mp.xlable()坐标轴的标签：mp.xlabel(标签文字，字体大小）--->mp.xlabel('xx',fontsize=12)
mp.tick_params()设置刻度参数：mp.tick_params(labelsize=10)
mp.grid()设置格线：mp.grid(linestyle=‘:’)
子图：
创建子图，大图里创建子图
1）缺省（默认）布局：
mp.subplot(行数，列数，图号)
eg：mp.subplot(2,3,1)或mp.subplot（231）
子图显示文字：
mp.text(对应中心位置比例，对应中心位置比例，数值，ha=水平对齐方式，va=垂直对其方式，size=尺寸大小，qlpha=透明度）
mp.tight_layout() 紧凑 不空很多格 边距变窄
2)栅格布局
先建立一个格栅布局器：
import matplotlib.gridspec as mp
gs = mg.GridSpec(行数，列数）
mp.subplot（gs[行，列]）
优点：布局匀称
3)自由布局
mp.axes（[左下角水平坐标，左下角垂直坐标，宽度，高度]）
优点：所有尺寸参数都是相对比例
缺点：同时输入几个，最后一张图能在另一张里边。
5.坐标刻度定位器
定位器对象 = mp.xxxLocateor（...）
ax = mp.gca()
主刻度：ax.xaxis.set_major_locator(定位器对象）——>x轴，让定位器对象帮我们定义刻度。
次刻度：ax.xaxis.set_minor_locator(定位器对象)———>x轴，让定位器对象帮我们定义刻度。
locators = [
'mp.NullLocator()',#空定位器，不需要参数，可以被解释执行
'mp.MaxNLocator(nbins=3, steps=[1, 3, 5, 7, 9])',#最多分三段，从后续列表中选一个等分的点
'mp.FixedLocator(locs=[0, 2.5, 5, 7.5, 10])',#固定定位器。等价于直接调用xticks。
'mp.AutoLocator()',#自动定位器。特点：间隔不太密也不太疏，自顶匹配。
'mp.IndexLocator(offset=0.5, base=1.5)',#索引定位器。offset起始点，base是间隔点
'mp.MultipleLocator()',#次刻度定位器。
'mp.LinearLocator(numticks=21)',#线性均分定位器。numticks=21等分成20分
'mp.LogLocator(base=2, subs=[1.0])' #指数定位器。
]
6.散点图
散点图的意义：
可以让一个点附带更多信息。
总是用两个坐标x，y坐标来表示。
eg：代表身高，y代表年龄
a = np.random.normal(0,1,n)----->这是正态分布规律的随机数，其中0代表平均值μ，1代表标准差，n代表数量。
区域填充
mp.fill_between(水平坐标数组，垂直坐标数组，垂直坐标终点数组，条件，color=颜色,alpha=透明度）
7.柱状图
mp.bar(水平坐标数组，高度数组，ec=边缘颜色，fc=填充颜色，label=标签文本，alpha=透明度)
mp.bar(水平坐标数组，高度数组，宽度，color=颜色，label=标签文本，alpha=透明度)
y1=np.random.uniform（0.5，1.0，n）---->在0.5到1.0内生成n个随机数
8.扇形图
mp.pie(值，间隙，标签，颜色，格式，shadow=是否带阴影，startangle=起始角度)
9.等高线图
用途：用二维的图形来展示三维数据，多用于地理中。
mp.contour（x,y,z,线数，colors=颜色，linewidth=线宽）
mp.contourf（x,y,z,线数，cmap=颜色映射）
meshgrid函数：
10.热像图
mp.imshow（矩阵，cmap=颜色映射，origin=确定y轴方向）
11.三维曲面图
主要指：三维贴面 和 三维线框
引用库：from mpl_toolkits.mplot3d import axes3d
ax=mp.gca(projection='3d')#创建三维效果的坐标轴
ax.plot_surface(x,y,z,rstride=行距,cstride=列距,cmap=颜色映射)
ax.plot_wireframe(x,y,z,rstride=行距,cstride=列距，linewidth=线宽,cmap=颜色映射)
12.三位散点图
from mpl_toolkits.mplot3d import axes3d
ax=mp.gca(projection='3d')#创建三维效果的坐标轴
ax.scatter(x, y, z, s=大小, c=颜色, cmap='jet_r', alpha=0.5，marker=点型)
13.极坐标系
mp.gca(projection='polar')#二维
mp.plot（）
mp.scatter（）
x,y(x代表极角，y代表极径）
14.简单动画
第一种方式：给定一个函数，自己不调取，让别人调取。
eg：def更新函数（顺序号）：
更新画面帧
第二种方式：多加一个生成器，把这个生成器当做一个可迭代对象去迭代，迭代的过程中，不断生成数据，并把生成的数据作为参数去调用。通过第二个函数传入的更新函数，由他完成渲染。
通过一个函数产生数据，另一个函数渲染数据，从数据结构上更合理，符合低耦合的设计原则。
eg：def 更新函数（生成值）：
更新画面帧
def 生成器（）：
for xxx in yyy：
生成新的数据
yield 生成值
anim=ma.FuncAnimation(mp.gcf(),update,interval=10)
