numpy & scipy & pandas - 随笔分类 - 未雨愁眸

math、numpy、pandas NaN 判断

摘要：>> np.nan == np.nanFalse>> np.nan is np.nanTrue>> math.nan is np.nanFalse>> np.isnan(math.nan)True1. 判断 ndarray 中是否存在 nan>> c = np.arr... 阅读全文

posted @ 2018-05-21 23:25 未雨愁眸阅读(851) 评论(0) 推荐(0)

pandas DataFrame 索引（iloc 与 loc 的区别）

摘要：Pandas——ix vs loc vs iloc区别0. DataFrameDataFrame 的构造主要依赖如下三个参数：data：表格数据；index：行索引；columns：列名； index 对行进行索引，columns 对列进行索引；import pand... 阅读全文

posted @ 2018-04-27 22:04 未雨愁眸阅读(1016) 评论(0) 推荐(0)

pandas 操作 excel

摘要：1. 多重 sheetUsing Pandas to pd.read_excel() for multiple worksheets of the same workbookpd.read_excel() ⇒ 将 excel 的第一个 sheet 读取到 DataFr... 阅读全文

posted @ 2018-04-26 21:54 未雨愁眸阅读(400) 评论(0) 推荐(0)

pandas 学习 —— pivot table

摘要：0. DataFrame 的 index、columns、values>> df = pd.DataFrame(np.arange(6).reshape(3, 2), index=['one', 'two', 'three'], columns=['a', 'b'])... 阅读全文

posted @ 2017-12-21 00:24 未雨愁眸阅读(335) 评论(0) 推荐(0)

pandas 学习 —— 逻辑表达式与布尔索引

摘要：>> df = pd.DataFrame(np.random.randint(0, 10, (5, 4)), columns=list('ABCD')) A B C D0 0 4 8 41 0 7 7 12 0 6 1 63 1 ... 阅读全文

posted @ 2017-09-12 23:41 未雨愁眸阅读(1104) 评论(0) 推荐(0)

numpy 高阶函数 —— np.histogram

摘要：np.diff(a, n=1, axis=-1)：n 表示差分的阶数；>> x = np.array([1, 2, 4, 7, 0])>> np.diff(x)array([ 1, 2, 3, -7])>> np.diff(x, n=2)array([ 1, ... 阅读全文

posted @ 2017-04-28 23:09 未雨愁眸阅读(9150) 评论(0) 推荐(0)

pandas 学习（五）—— datetime（日期）

摘要：date rangepd.date_range('2014-11-19', '2014-11-21', freq='D') # 起始时间，终止时间，时间间隔，也即步长，D ⇒ Day，5H：以 5 小时为间隔；t = pd.DataFrame(pd.date_r... 阅读全文

posted @ 2017-04-13 17:03 未雨愁眸阅读(761) 评论(0) 推荐(0)

pandas 学习（四）—— 数据处理（清洗）、缺失值的处理

摘要：创建 DataFrame：df = pd.DataFrame(np.random.randint(0, 10, (2, 4)), columns=list('ABCD'))0. 为 data frame 添加新的属性列>> df['total'] = df['A'] ... 阅读全文

posted @ 2017-04-13 10:26 未雨愁眸阅读(1513) 评论(0) 推荐(0)

numpy tricks（二）—— 删除多维数组的行或列

摘要：numpy.deletenumpy 下的多维数组，如果要删除其中的某些行，或某些列，不可以用置空的方式，进行设置； A[1, :] = None, ⇒ 会将 A 中的第一行数据全部置为 Nan1. 使用切片（slice）比如删除第一行：B = A[1:, :]注意此时... 阅读全文

posted @ 2017-03-25 12:09 未雨愁眸阅读(1290) 评论(0) 推荐(0)

scipy 图像处理（scipy.misc、scipy.ndimage）、matplotlib 图像处理

摘要：from scipy.misc import imread / imsave / imshow imresize / imrotate / imfilter1. scipy.misc 下的图像处理from scipy.misc import imread... 阅读全文

posted @ 2017-02-21 18:55 未雨愁眸阅读(1259) 评论(0) 推荐(0)

numpy 辨异（四）—— np.repeat 与 np.tile

摘要：>> import numpy as np>> help(np.repeat)>> help(np.tile)二者执行的是均是复制操作；np.repeat：复制的是多维数组的每一个元素；np.tile：复制的是多维数组本身；1. np.repeat>> x = np.... 阅读全文

posted @ 2017-02-20 18:26 未雨愁眸阅读(276) 评论(0) 推荐(0)

nditer —— numpy.ndarray 多维数组的迭代

摘要：1. Single array iteration>>> a = np.arange(6).reshape(2,3)>>> for x in np.nditer(a):... print x,...0 1 2 3 4 5也即默认是行序优先（row-major ... 阅读全文

posted @ 2017-02-18 10:48 未雨愁眸阅读(230) 评论(0) 推荐(0)

numpy 下的数据结构与数据类型的转换（np.array vs. np.asarray）

摘要：1. np.asarray —— numpy 风格的类型转换从已有多维数组创建新的多维数组，数据类型可重新设置>> B = np.asarray(A, dtype='int32')2. np.array() vs np.asarray源码之前，了无秘密。两者的区别和... 阅读全文

posted @ 2017-02-18 10:36 未雨愁眸阅读(1124) 评论(0) 推荐(0)

numpy 辨异（三）—— hstack/column_stack，linalg.eig/linalg.eigh

摘要：1. np.hstack np.column_stack>>> np.hstack([np.array([1, 2, 3]), np.array([4, 5, 6])])array([1, 2, 3, 4, 5, 6])>>> np.column_stack([np.... 阅读全文

posted @ 2017-02-18 10:34 未雨愁眸阅读(1520) 评论(0) 推荐(1)

numpy 代码优化（一）—— 常见手段

摘要：选择使用 numpy 库的应有之义就在于：应当以矢量化的方式（vectorized operations）来避免迭代操作（iterations），numpy 下的迭代操作执行起来十分耗时。import numpy as npx = np.linspace(0, 8... 阅读全文

posted @ 2017-02-17 17:03 未雨愁眸阅读(492) 评论(0) 推荐(0)

numpy 维度与轴的问题

摘要：0. 多维数组的显示问题>> X = np.reshape(np.arange(24), (2, 3, 4)) # 也即 2 行 3 列的 4 个平面（plane）>> Xarray([[[ 0, 1, 2, 3], [ 4, 5, 6,... 阅读全文

posted @ 2016-12-30 18:00 未雨愁眸阅读(174) 评论(0) 推荐(0)

pandas 学习（二）—— pandas 下的常用函数

摘要：import pandas as pd;1. 数据处理函数pd.isnull()/pd.notnull()：用于检测缺失数据；2. 辅助函数pd.to_datetime()3. Series 与 DataFrame 的成员函数drop(labels, axis=0... 阅读全文

posted @ 2016-11-17 23:48 未雨愁眸阅读(203) 评论(0) 推荐(0)

scipy —— 丰富的子包（io、cluster）

摘要：io，顾名思义，input/output，输入输出接口；1. ioInput and output (scipy.io) — SciPy v0.18.1 Reference Guidewavfile（读写 .wav 文件）from scipy.io import ... 阅读全文

posted @ 2016-11-17 19:23 未雨愁眸阅读(240) 评论(0) 推荐(0)

numpy 辨异（二） —— np.identity()/np.eye()

摘要：import numpy as np;两者在创建单位矩阵上，并无区别，两者的区别主要在接口上；np.identity(n, dtype=None)：只能获取方阵，也即标准意义的单位阵；np.eye(N, M=None, k=0, dtype=)；N : int，N... 阅读全文

posted @ 2016-10-25 23:01 未雨愁眸阅读(495) 评论(0) 推荐(0)

随笔分类 - numpy & scipy & pandas