数据分析学习02-numpy
简介
NumPy是Python中科学计算的基础包。它是一个Python库，提供多维数组对象，各种派生对象（如掩码数组和矩阵），以及用于数组快速操作的各种API，有包括数学、逻辑、形状操作、排序、选择、输入输出、离散傅立叶变换、基本线性代数，基本统计运算和随机模拟等等。
使用
我们仅需要简单的通过import numpy as np就可以使用numpy了。
为什么要用numpy？
如果我们希望两个列表对应项相加，则我们需要这样做，使用Python列表这样的代码是冗余的，而使用numpy则大大减少了代码的冗余。
基本操作
数组的形状
import numpy as np
t1 = np.arange(12) #生成数组
print(t1)
# [ 0 1 2 3 4 5 6 7 8 9 10 11]
print(t1.shape) # 查看数组的形状
# (12,) # 表示12个数
t2 = np.array([[1,2,3],[4,5,6]])
print(t2)
# [[1 2 3]
# [4 5 6]]
print(t2.shape)# 查看数组的形状
# (2, 3) 表示2行3列
t3 = np.array([[[1,2,3],[4,5,6]],[[7,8,9],[10,11,12]]])
print(t3)
# [[[ 1 2 3]
# [ 4 5 6]]
#
# [[ 7 8 9]
# [10 11 12]]]
print(t3.shape) # 查看数组的形状
# (2, 2, 3)
import numpy as np
t4 = np.arange(12)
print(t4)
# [ 0 1 2 3 4 5 6 7 8 9 10 11]
print(t4.reshape((3,4))) # 把t4 变成3行4列
# [[ 0 1 2 3]
# [ 4 5 6 7]
# [ 8 9 10 11]]
import numpy as np
t5 = np.arange(24).reshape((2,3,4))
# 2块 每块3行4列
print(t5)
# [[[ 0 1 2 3]
# [ 4 5 6 7]
# [ 8 9 10 11]]
#
# [[12 13 14 15]
# [16 17 18 19]
# [20 21 22 23]]]
print(t5.reshape(4,6)) # 修改数组的形状
# [[ 0 1 2 3 4 5]
# [ 6 7 8 9 10 11]
# [12 13 14 15 16 17]
# [18 19 20 21 22 23]]
print(t5.flatten()) #展开把数组转化为1维度的数据
# [ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23]
数组的运算
当两个数组的形状并不相同的时候，我们可以通过扩展数组的方法来实现相加、相减、相乘等操作，这种机制叫做广播（broadcasting）
import numpy as np
t5 = np.arange(24).reshape((2,3,4))
# 2块 每块3行4列
#print(t5)
# [[[ 0 1 2 3]
# [ 4 5 6 7]
# [ 8 9 10 11]]
#
# [[12 13 14 15]
# [16 17 18 19]
# [20 21 22 23]]]
print(t5+2) # 数组里面所有数均加2
# [[[ 2 3 4 5]
# [ 6 7 8 9]
# [10 11 12 13]]
#
# [[14 15 16 17]
# [18 19 20 21]
# [22 23 24 25]]]
import numpy as np
t5 = np.arange(24).reshape((2,3,4))
# 2块 每块3行4列
#print(t5)
# [[[ 0 1 2 3]
# [ 4 5 6 7]
# [ 8 9 10 11]]
#
# [[12 13 14 15]
# [16 17 18 19]
# [20 21 22 23]]]
print(t5*2) # 数组里面所有数均乘2
# [[[ 0 2 4 6]
# [ 8 10 12 14]
# [16 18 20 22]]
#
# [[24 26 28 30]
# [32 34 36 38]
# [40 42 44 46]]]
import numpy as np
t5 = np.arange(24).reshape((2,3,4))
# 2块 每块3行4列
#print(t5)
# [[[ 0 1 2 3]
# [ 4 5 6 7]
# [ 8 9 10 11]]
#
# [[12 13 14 15]
# [16 17 18 19]
# [20 21 22 23]]]
print(t5/2) # 数组里面所有数均除2
# [[[ 0. 0.5 1. 1.5]
# [ 2. 2.5 3. 3.5]
# [ 4. 4.5 5. 5.5]]
#
# [[ 6. 6.5 7. 7.5]
# [ 8. 8.5 9. 9.5]
# [10. 10.5 11. 11.5]]]
数组相加，乘，除
import numpy as np
t5 = np.arange(24).reshape((4,6))
# print(t5)
# [[ 0 1 2 3 4 5]
# [ 6 7 8 9 10 11]
# [12 13 14 15 16 17]
# [18 19 20 21 22 23]]
t6 = np.arange(100,124).reshape((4,6))
# print(t6)
# [[100 101 102 103 104 105]
# [106 107 108 109 110 111]
# [112 113 114 115 116 117]
# [118 119 120 121 122 123]]
print(t5+t6)
# [[100 102 104 106 108 110]
# [112 114 116 118 120 122]
# [124 126 128 130 132 134]
# [136 138 140 142 144 146]]
import numpy as np
t5 = np.arange(24).reshape((4,6))
# print(t5)
# [[ 0 1 2 3 4 5]
# [ 6 7 8 9 10 11]
# [12 13 14 15 16 17]
# [18 19 20 21 22 23]]
t6 = np.arange(100,124).reshape((4,6))
# print(t6)
# [[100 101 102 103 104 105]
# [106 107 108 109 110 111]
# [112 113 114 115 116 117]
# [118 119 120 121 122 123]]
print(t5*t6)
# [[ 0 101 204 309 416 525]
# [ 636 749 864 981 1100 1221]
# [1344 1469 1596 1725 1856 1989]
# [2124 2261 2400 2541 2684 2829]]
import numpy as np
t5 = np.arange(24).reshape((4,6))
# print(t5)
# [[ 0 1 2 3 4 5]
# [ 6 7 8 9 10 11]
# [12 13 14 15 16 17]
# [18 19 20 21 22 23]]
t6 = np.arange(100,124).reshape((4,6))
# print(t6)
# [[100 101 102 103 104 105]
# [106 107 108 109 110 111]
# [112 113 114 115 116 117]
# [118 119 120 121 122 123]]
print(t6/t5)
# [[ inf 101. 51. 34.33333333 26.
# 21. ]
# [ 17.66666667 15.28571429 13.5 12.11111111 11.
# 10.09090909]
# [ 9.33333333 8.69230769 8.14285714 7.66666667 7.25
# 6.88235294]
# [ 6.55555556 6.26315789 6. 5.76190476 5.54545455
# 5.34782609]]
import numpy as np
t5 = np.arange(24).reshape((4,6))
# print(t5)
# [[ 0 1 2 3 4 5]
# [ 6 7 8 9 10 11]
# [12 13 14 15 16 17]
# [18 19 20 21 22 23]]
t7 = np.arange(0,6)
#print(t7)
# [0 1 2 3 4 5]
print(t5-t7)
# [[ 0 0 0 0 0 0]
# [ 6 6 6 6 6 6]
# [12 12 12 12 12 12]
# [18 18 18 18 18 18]]
import numpy as np
t5 = np.arange(24).reshape((4,6))
# print(t5)
# [[ 0 1 2 3 4 5]
# [ 6 7 8 9 10 11]
# [12 13 14 15 16 17]
# [18 19 20 21 22 23]]
t8 = np.arange(4).reshape((4,1))
# print(t8)
# [[0]
# [1]
# [2]
# [3]]
print(t5-t8)
# [[ 0 1 2 3 4 5]
# [ 5 6 7 8 9 10]
# [10 11 12 13 14 15]
# [15 16 17 18 19 20]]
轴（axis）
在numpy中可以理解为方向，使用0,1，2…数字表示，对于一个一维数组，只用一个0轴，对于2维数组(shape(2,2))，有0轴和1轴，对于一个三维数组（shape(2,2,3))，有0,1,2轴。
1轴表示列 0轴表示行
1轴表示列 0轴表示行 2轴表示块
有了轴的概念之后，我们在计算会更加方便，比如计算一个2维数据的平均值，必须指定是计算哪个方向上面的数字的平均值
numpy读取文件数据与转置
import numpy as np
data = "D:/py/数据分析学习/numpy学习/数据.csv"
t1 = np.loadtxt(data,delimiter=",",dtype="int") #delimiter=","按照逗号进行分割,dtype="int"指定数字类型
print(t1)
print("*"*50+"分割符"+"*"*50)
t2 = np.loadtxt(data,delimiter=",",dtype="int",unpack=True) # 【转置】旋转列变行 默认unpack=False
print(t2)
转置是一种变换，对于numpy中的数组来说，就是在对角线方向交换数据，目的也是为了更方便的处理数据
numpy索引和切片
对于上述加载出来的数据，我们如果只想选择其中某一列（行）如下
取行
import numpy as np
data = "D:/py/数据分析学习/numpy学习/数据.csv"
t1 = np.loadtxt(data,delimiter=",",dtype="int") #delimiter=","按照逗号进行分割,dtype="int"指定数字类型
print(t1) #所有数据
print("*"*50+"取一行"+"*"*50)
print(t1[2])
print("*"*50+"取多行"+"*"*50)
print(t1[2:])
print("*"*50+"取指定行"+"*"*50)
print(t1[[0,2,4]])
取列
# -*- coding: utf-8 -*-
import numpy as np
data = "C:/Users/gpc/Desktop/python/其他/test01.csv"
t1 = np.loadtxt(data,delimiter=",",dtype="int") #delimiter=","按照逗号进行分割,dtype="int"指定数字类型
print(t1) #所有数据
print("*"*50+"取一列"+"*"*50)
print(t1[:,1])
print("*"*50+"取连续多列"+"*"*50)
print(t1[:,2:])
print("*"*50+"取指定列"+"*"*50)
print(t1[:,[0,2,4]])
# -*- coding: utf-8 -*-
import numpy as np
data = "C:/Users/gpc/Desktop/python/其他/test01.csv"
t1 = np.loadtxt(data,delimiter=",",dtype="int") #delimiter=","按照逗号进行分割,dtype="int"指定数字类型
print(t1) #所有数据
print("*"*20+"取多行和多列，取第3行，第4列得值"+"*"*20)
print(t1[2,3])
print("*"*20+"取多行和多列，取第3行到第5行，第2列到第4列得结果"+"*"*20)
print(t1[2:5,1:4])
print("*"*20+"取多个不相邻的点"+"*"*20)
# (0,0),(2,1),(2,3)
print(t1[[0,2,2],[0,1,3]])
numpy数值的修改
# -*- coding: utf-8 -*-
import numpy as np
t1 = np.arange(24).reshape((4,6))
print(t1)
print("-"*50)
t1[[2],[1]]=100
print(t1)
numpy中布尔值索引
# -*- coding: utf-8 -*-
import numpy as np
t1 = np.arange(24).reshape((4,6))
print(t1)
print("-"*50)
print(t1<10)
print("-"*50)
t1[t1<10] = 3
print(t1)
numpy中三元运算符
# -*- coding: utf-8 -*-
import numpy as np
t1 = np.arange(24).reshape((4,6))
print(t1)
print(np.where(t1<=11,0,100))#t1中小于等于11的替换成0其余的全部替换成100
# -*- coding: utf-8 -*-
import numpy as np
t1 = np.arange(24).reshape((4,6))
print(t1)
print("-"*50)
print(t1.clip(11,18)) # 小于11的替换成11，大于18的替换成18
# -*- coding: utf-8 -*-
import numpy as np
t1 = np.arange(24).reshape((4,6))
print(t1)
print("-"*50)
t1 =t1.astype(float)#浮点数
t1[3,3]=np.nan
print(t1)
numpy中nan和inf
- nan（NAN，Nan）：not a number 表示不是一个数字
- 当我们读取本地的文件为float的时候，如果有缺失，就会出现nan当做了一个不适合的计算的时候（比如无穷大（inf）减去无穷大）
- inf（-inf,inf）:infinity.inf表示正无穷，-inf表示负无穷
- 比如一个数字除以0，（python中会直接报错，numpy中是一个inf或者-inf）
# -*- coding: utf-8 -*-
import numpy as np
print(np.nan == np.nan)
# False
print(np.nan != np.nan)
# True
t1 = np.arange(24).reshape((4,6))
t1 =t1.astype(float)#浮点数
t1[3,3]=np.nan
print(t1)
t1[:,0]=0
print(t1)
print(np.count_nonzero(t1))
# 20 # 不为0的个数是20个
print(np.isnan(t1)) # 判断那些值是nan的
print(np.count_nonzero(np.isnan(t1))) # 统计nan的个数
# nan和任何值计算都为nan
print(np.sum(t1))
# nan
t2 = np.arange(12).reshape(3,4)
print(np.sum(t2))
# 66
# 横行竖列
print(np.sum(t2,axis=0)) # 每列的和
# [12 15 18 21]
print(np.sum(t2,axis=1))# 每行的和
# [ 6 22 38]
print(np.sum(t1,axis=0)) # nan和任何值计算都为nan
# [ 0. 40. 44. nan 52. 56.]
# -*- coding: utf-8 -*-
import numpy as np
t1 = np.arange(24).reshape((4,6))
t1 =t1.astype(float)#浮点数
t1[3,3]=np.nan
print(t1)
# 横行竖列
print(t1.sum(axis=0)) # 没列的和
# [36. 40. 44. nan 52. 56.]
print(t1.mean(axis=0)) # 计算每列的均值
# [ 9. 10. 11. nan 13. 14.]
print(np.median(t1,axis=0)) # 计算每列的中值
# [ 9. 10. 11. nan 13. 14.]
print(t1.max(axis=0)) # 数组中最大值的一列
# [18. 19. 20. nan 22. 23.]
print(t1.min(axis=0)) # 最小值的一列
# [ 0. 1. 2. nan 4. 5.]
print(np.ptp(t1,axis=0)) # 极值 按列计算数组中最大值和最小值的差
# [18. 18. 18. nan 18. 18.]
print(t1.std(axis=0)) # 标准差
# [6.70820393 6.70820393 6.70820393 nan 6.70820393 6.70820393]
数组的拼接
# -*- coding: utf-8 -*-
import numpy as np
t1 = np.arange(1,13).reshape((2,6))
print(t1)
print("-"*50)
t2 = np.arange(13,25).reshape(2,6)
print(t2)
print("-"*50)
print(np.vstack((t1,t2)))# 竖直拼接
print("-"*50)
print(np.hstack((t1,t2)))# 水平拼接
# -*- coding: utf-8 -*-
import numpy as np
# t1 = np.arange(12).reshape(3,4).astype("float")
# t1[1,2:]=np.nan
#print(t1)
def fill_ndarray(t1):
for i in range(t1.shape[1]): # 遍历没列
temp_col = t1[:,i] # 当前的一列
nan_num = np.count_nonzero(temp_col!=temp_col)
if nan_num != 0: # 不为0，说明当前这一列中有nan
temp_not_nan_col = temp_col[temp_col==temp_col] # 当前一列不为nan的array
#temp_not_nan_col.mean()
temp_col[np.isnan(temp_col)]=temp_not_nan_col.mean() # 选中当前为nan的位置，把值赋值为不为nan的均值
return t1
if __name__=='__main__':
t1 = np.arange(12).reshape(3, 4).astype("float")
t1[1, 2:] = np.nan
print(t1)
t1 = fill_ndarray(t1)
print(t1)
数组交换
# -*- coding: utf-8 -*-
import numpy as np
t1 = np.arange(1,25).reshape((4,6))
print(t1)
print("-"*50)
t1[[1,2],:]=t1[[2,1],:]#行交换
print(t1)
print("-"*50)
t1[:,[0,5]]=t1[:,[5,0]]#列交换
print(t1)
# -*- coding: utf-8 -*-
import numpy as np
print(np.ones((2,3))) #创建全为1的数据
print(np.zeros((2,3))) #全为0的数据
# -*- coding: utf-8 -*-
import numpy as np
# 加载文件数据
data1 = "C:/Users/gpc/Desktop/python/其他/test01.csv"
data2 = "C:/Users/gpc/Desktop/python/其他/test02.csv"
t1 = np.loadtxt(data1,delimiter=",",dtype="int") #delimiter=","按照逗号进行分割,dtype="int"指定数字类型
t2 = np.loadtxt(data2,delimiter=",",dtype="int")
# 添加信息
# 构造全为0的数据
zeros_data = np.zeros((t1.shape[0],1))
ones_data = np.ones((t2.shape[0],1))
# 分别添加一列全为0，1的数组
t1 = np.hstack((t1,zeros_data)).astype(int)
t2 = np.hstack((t2,ones_data)).astype(int)
# 拼接两组数据
t3= np.vstack((t1,t2))
print(t3)
numpy生成随机数
# -*- coding: utf-8 -*-
import numpy as np
t1 = np.random.randint(10,20,(4,5))
print(t1)
# -*- coding: utf-8 -*-
import numpy as np
np.random.seed(10) # 随机生成种子，每次随机得到的结果和上次一样
t1 = np.random.randint(10,20,(4,5)) # 生成10-20的随机数，4列5行
print(t1)
# -*- coding: utf-8 -*-
import numpy as np
np.random.seed(10) # 随机生成种子，每次随机得到的结果和上次一样
t1 = np.random.randint(10,20,(4,5)) # 生成10-20的随机数，4列5行
print(t1)
t2 = t1[:]# 视图操作，一种切片会创建新的对象，但是t2的数据完全由t1保管，数据变化一致
print(t2)
t3 = t1.copy() # 复制，t3,t1互不影响
print(t3)
