numpy库上手
2 Numpy快速上手
2.1. 什么是Numpy
Numpy是Python的一个科学计算的库
主要提供矩阵运算的功能，而矩阵运算在机器学习领域应用非常广泛
Numpy一般与Scipy、matplotlib一起使用。
虽然python中的list已经提供了类似于矩阵的表示形式，不过numpy为我们提供了更多的函数。
2.1.2 安装导入了Numpy
（通用做法import numpy as np 简单输入）
|
>>> import numpy as np >>> print np.version.version 1.6.2 |
2.1.3 Numpy组成
Numpy基础部分中，有两个主要内容，如下：
任意维数的数组对象（ndarray，n-dimensional array object）
通用函数对象（ufunc，universal function object）
2.2. 多维数组
2.2.1 Numpy中的数组<矩阵>
Numpy中，最重要的数据结构是：多维数组的类型（numpy.ndarray）
ndarray由两部分组成：
实际所持有的数据；
描述这些数据的元数据（metadata）
与Python原生支持的List类型不同，数组的所有元素必须同样的类型。
数组（即矩阵）的维度被称为axes，维数称为 rank
ndarray 的重要属性包括:
² ndarray.ndim：数组的维数，也称为rank
² ndarray.shape：数组各维的大小，对一个n行m列的矩阵来说， shape 为 (n,m)
² ndarray.size：元素的总数。
² ndarray.dtype：每个元素的类型，可以是numpy.int32, numpy.int16, and numpy.float64等
² ndarray.itemsize：每个元素占用的字节数。
² ndarray.data：指向数据内存。
2.2.2 ndarray常用方法示例
2.2.2.2 使用numpy.array方法
以list或tuple变量为参数产生一维数组：
|
>>> print np.array([1,2,3,4]) [1 2 3 4] >>> print np.array((1.2,2,3,4)) [ 1.2 2. 3. 4. ] >>> print type(np.array((1.2,2,3,4))) <type 'numpy.ndarray'> |
以list或tuple变量为元素产生二维数组或者多维数组：
|
>>> x = np.array(((1,2,3),(4,5,6))) >>> x array([[1, 2, 3], [4, 5, 6]]) >>> y = np.array([[1,2,3],[4,5,6]]) >>> y array([[1, 2, 3], [4, 5, 6]])
index 和slicing ：第一数值类似数组横坐标，第二个为纵坐标 >>> x[1,2] 6 >>> y=x[:,1] #取第二列 >>> y array([2, 5]) 涉及改变相关问题，我们改变上面y是否会改变x？这是特别需要关注的！ >>> y[0] = 10 >>> y array([10, 5]) >>> x array([[ 1, 10, 3], [ 4, 5, 6]]) |
通过上面可以发现改变y会改变x ，因而我们可以推断，y和x指向是同一块内存空间值，系统没有为y 新开辟空间把x值赋值过去。
2.2.2.3 使用numpy.arange方法
|
>>> print np.arange(15) [ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14] >>> print type(np.arange(15)) <type 'numpy.ndarray'> >>> print np.arange(15).reshape(3,5) [[ 0 1 2 3 4] [ 5 6 7 8 9] [10 11 12 13 14]] >>> print type(np.arange(15).reshape(3,5)) <type 'numpy.ndarray'> |
2.2.2.4 使用numpy.linspace方法
例如，在从1到10中产生20个数：
|
>>> print np.linspace(1,10,20) [ 1. 1.47368421 1.94736842 2.42105263 2.89473684 3.36842105 3.84210526 4.31578947 4.78947368 5.26315789 5.73684211 6.21052632 6.68421053 7.15789474 7.63157895 8.10526316 8.57894737 9.05263158 9.52631579 10. ] |
使用numpy.zeros，numpy.ones，numpy.eye等方法可以构造特定的矩阵
构造“0”矩阵：
|
>>> print np.zeros((3,4)) [[ 0. 0. 0. 0.] [ 0. 0. 0. 0.] [ 0. 0. 0. 0.]] |
构造“1”矩阵
|
>>> print np.ones((3,4)) [[ 1. 1. 1. 1.] [ 1. 1. 1. 1.] [ 1. 1. 1. 1.]] |
构造单位矩阵(E矩阵)
|
>>> print np.eye(3) [[ 1. 0. 0.] [ 0. 1. 0.] [ 0. 0. 1.]] |
2.2.2.5 获取数组的属性：
|
>>> a = np.zeros((2,2,2)) >>> print a.ndim #数组的维数 3 >>> print a.shape #数组每一维的大小 (2, 2, 2) >>> print a.size #数组的元素数 8 >>> print a.dtype #元素类型 float64 >>> print a.itemsize #每个元素所占的字节数 8 |
2.2.3 数组的基本运算
数组的算术运算是按元素逐个运算。数组运算后将创建包含运算结果的新数组。
与其他矩阵语言不同，NumPy中的乘法运算符*按元素逐个计算，矩阵乘法可以使用dot函数或创建矩阵对象实现（后续介绍）
2.2.3.1 数组的加减运算
|
>>> a= np.array([20,30,40,50]) >>> b= np.arange( 4) >>> b array([0, 1, 2, 3]) >>> c= a-b >>> c array([20, 29, 38, 47]) |
将运算结果更新原数组，不创建新数组
|
>>> a= np.ones((2,3), dtype=int) >>> b= np.random.random((2,3)) ##生成2*3矩阵，元素为[0,1)范围的随机数 >>> a*= 3 >>> a array([[3, 3, 3], [3, 3, 3]]) >>> b+= a #a转换为浮点类型相加 >>> b array([[ 3.69092703, 3.8324276, 3.0114541], [ 3.18679111, 3.3039349, 3.37600289]]) >>> a+= b # b转换为整数类型报错 TypeError: Cannot cast ufunc add output from dtype('float64') to dtype('int32') with casting rule 'same_kind'
|
当数组中存储的是不同类型的元素时，数组将使用占用更多位（bit）的数据类型作为其本身的数据类型，也就是偏向更精确的数据类型(这种行为叫做upcast)。
|
>>> a= np.ones(3, dtype=np.int32) >>> b= np.linspace(0,np.pi,3) >>> b.dtype.name 'float64' >>> c= a+b >>> c array([ 1., 2.57079633, 4.14159265]) >>> 'float64'
|
2.2.3.2 数组乘法运算
|
>>> b**2 array([0, 1, 4, 9]) >>> 10*np.sin(a) array([ 9.12945251,-9.88031624, 7.4511316, -2.62374854]) >>> a<35 array([True, True, False, False], dtype=bool) |
2.2.3.3 数组内部运算
许多非数组运算，如计算数组所有元素之和，都作为ndarray类的方法来实现，使用时需要用ndarray类的实例来调用这些方法。
二维数组：
|
>>> np.sum([[0, 1], [0, 5]]) 6 >>> np.sum([[0, 1], [0, 5]], axis=0) array([0, 6]) >>> np.sum([[0, 1], [0, 5]], axis=1) array([1, 5])
|
|
>>> b= np.arange(12).reshape(3,4) >>> b array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) >>> b.sum(axis=0) # 计算每一列的和 array([12, 15, 18, 21]) >>> b.min(axis=1) # 获取每一行的最小值 array([0, 4, 8]) >>> b.cumsum(axis=1) # 计算每一行的累积和 array([[ 0, 1, 3, 6], [ 4, 9, 15, 22], [ 8, 17, 27, 38]]) |
三维数组：
|
>>> x array([[[ 0, 1, 2], [ 3, 4, 5], [ 6, 7, 8]],
[[ 9, 10, 11], [12, 13, 14], [15, 16, 17]],
[[18, 19, 20], [21, 22, 23], [24, 25, 26]]]) >>> x.sum(axis=1) array([[ 9, 12, 15], [36, 39, 42], [63, 66, 69]]) >>> x.sum(axis=2) array([[ 3, 12, 21], [30, 39, 48], [57, 66, 75]]) |
求元素最值
|
>>> a= np.random.random((2,3)) >>> a array([[ 0.65806048, 0.58216761, 0.59986935],[ 0.6004008, 0.41965453, 0.71487337]]) >>> a.sum() 3.5750261436902333 >>> a.min() 0.41965453489104032 >>> a.max() 0.71487337095581649 |
2.2.3.4 数组的索引、切片
和列表和其它Python序列一样，一维数组可以进行索引、切片和迭代操作。
|
>>> a= np.arange(10)** 3 #记住，操作符是对数组中逐元素处理的！ >>> a array([0, 1, 8, 27, 64, 125, 216, 343, 512, 729]) >>> a[2] 8 >>> a[2:5] array([ 8, 27, 64]) >>> a[:6:2]= -1000 # 等同于a[0:6:2]= -1000，从开始到第6个位置，每隔一个元素将其赋值为-1000 >>> a array([-1000, 1,-1000, 27,-1000, 125, 216, 343, 512, 729]) >>> a[: :-1] # 反转a array([ 729, 512, 343, 216, 125,-1000, 27,-1000, 1,-1000]) >>>for i in a: ... print i**2, ... 1000000 1 1000000 729 1000000 15625 46656 117649 262144 531441 |
多维数组可以每个轴有一个索引。这些索引由一个逗号分割的元组给出。
|
>>>def f(x,y): ... return 10*x+y ... >>> b= np.fromfunction(f,(5,4),dtype=int) #fromfunction[dht1] 是一个函数 >>> b array([[ 0, 1, 2, 3], [10, 11, 12, 13], [20, 21, 22, 23], [30, 31, 32, 33], [40, 41, 42, 43]]) >>> b[2,3] 23
>>> b[0:5, 1] # 每行的第二个元素 array([ 1, 11, 21, 31, 41])
>>> b[: ,1] # 与前面的效果相同 array([ 1, 11, 21, 31, 41])
>>> b[1:3,: ] # 每列的第二和第三个元素 array([[10, 11, 12, 13], [20, 21, 22, 23]]) |
当少于提供的索引数目少于轴数时，已给出的数值按秩的顺序复制，缺失的索引则默认为是整个切片：
|
>>> b[-1] # 最后一行，等同于b[-1,:]，-1是第一个轴，而缺失的认为是：，相当于整个切片。 array([40, 41, 42, 43]) |
b[i]中括号中的表达式被当作i和一系列"："，来代表剩下的轴。NumPy也允许你使用“点”像b[i,...]。
点(…)代表许多产生一个完整的索引元组必要的冒号。如果x是秩为5的数组(即它有5个轴)，那么:
l x[1,2,…] 等同于 x[1,2,:,:,:],
l x[…,3] 等同于 x[:,:,:,:,3]
l x[4,…,5,:] 等同 x[4,:,:,5,:]
|
>>> c= array( [ [[ 0, 1, 2], #三维数组（n个2维数组叠加而成） ...[ 10, 12, 13]], ... ...[[100,101,102], ...[110,112,113]]] ) >>> c.shape (2, 2, 3) >>> c[1,...] #等同于c[1,:,:]或c[1] array([[100, 101, 102], [110, 112, 113]]) >>> c[...,2] #等同于c[:,:,2] array([[ 2, 13], [102, 113]]) |
2.2.3.5 矩阵的遍历
|
>>>for row in b: ... print row ... [0 1 2 3] [10 11 12 13] [20 21 22 23] [30 31 32 33] [40 41 42 43] |
如果想对数组中每个元素都进行处理，可以使用flat属性，该属性是一个数组元素迭代器：
|
>>>for element in b.flat: ... print element, ... 0 1 2 3 10 11 12 13 20 21 22 23 30 31 32 33 40 41 42 43 |
2.2.3.6 合并数组
使用numpy下的vstack（垂直方向）和hstack（水平方向）函数：
|
>>> a = np.ones((2,2)) >>> b = np.eye(2) >>> print np.vstack((a,b)) [[ 1. 1.] [ 1. 1.] [ 1. 0.] [ 0. 1.]] >>> print np.hstack((a,b)) [[ 1. 1. 1. 0.] [ 1. 1. 0. 1.]] |
看一下这两个函数有没有涉及到浅拷贝这种问题：
|
>>> c = np.hstack((a,b)) >>> print c [[ 1. 1. 1. 0.] [ 1. 1. 0. 1.]] >>> a[1,1] = 5 >>> b[1,1] = 5 >>> print c [[ 1. 1. 1. 0.] [ 1. 1. 0. 1.]] |
通过上面可以知道，这里进行是深拷贝，而不是引用指向同一位置的浅拷贝。
2.2.3.7 深度拷贝
数组对象自带了浅拷贝和深拷贝的方法，但是一般用深拷贝多一些：
|
>>> a = np.ones((2,2)) >>> b = a >>> b is a True >>> c = a.copy() #深拷贝 >>> c is a False |
2.2.3.8 矩阵转置运算
|
>>> a = np.array([[1,0],[2,3]]) >>> print a [[1 0] [2 3]] >>> print a.transpose() [[1 2] [0 3]] |
2.2.4 数组的形状操作
2.4.1 reshape更改数组的形状
数组的形状取决于其每个轴上的元素个数：
|
>>> a= np.floor(10*np.random.random((3,4))) >>> a array([[ 7., 5., 9., 3.], [ 7., 2., 7., 8.], [ 6., 8., 3., 2.]]) >>> a.shape (3, 4) |
可以用多种方式修改数组的形状：
|
>>> a.ravel() # 平坦化数组 array([ 7., 5., 9., 3., 7., 2., 7., 8., 6., 8., 3., 2.]) >>> a.shape= (6, 2) >>> a.transpose() array([[ 7., 9., 7., 7., 6., 3.], [ 5., 3., 2., 8., 8., 2.]]) |
由ravel()展平的数组元素的顺序通常是“C风格”的，就是以行为基准，最右边的索引变化得最快，所以元素a[0,0]之后是a[0,1]。如果数组改变成其它形状(reshape)，数组仍然是“C风格”的。NumPy通常创建一个以这个顺序保存数据的数组，所以ravel()通常不需要创建起调用数组的副本。但如果数组是通过切片其它数组或有不同寻常的选项时，就可能需要创建其副本。还可以同过一些可选参数函数让reshape()和ravel()构建FORTRAN风格的数组，即最左边的索引变化最快。
2.4.2 resize更改数组形状
reshape函数改变调用数组的形状并返回该数组，而resize函数改变调用数组自身。
|
>>> a array([[ 7., 5.], [ 9., 3.], [ 7., 2.], [ 7., 8.], [ 6., 8.], [ 3., 2.]]) >>> a.resize((2,6)) >>> a array([[ 7., 5., 9., 3., 7., 2.], [ 7., 8., 6., 8., 3., 2.]])
##如果调用reshape，则会返回一个新矩阵 >>> a.reshape((2,6)) array([[ 7., 5., 9., 3., 7., 2.], [ 7., 8., 6., 8., 3., 2.]]) |
形成一个数组
行i：0~4
列j：0~3
Cij = i*10 + j
0*10+0 0*10+1 0*10+2 0*10+3
1*10+0 1*10+1 1*10+2 1*10+3
2*10+0 2*10+1 2*10+2 2*10+3
......
浙公网安备 33010602011771号