PYTHON PANDAS入门-(15)PANDAS的分层索引Multiindex
摘要:一、用处 1、定义:在一个轴向上拥有多个索引层级,可以表达跟高纬度数据的形式 2、可以更方便的进行数据筛选,如果有序则性能更好 3、groupby等操作的结果,如果多KEY,结果是分层索引,需要使用 4、一般不需要自己创建分层索引 二、series的分层索引 1、读取数据表(百度等公司的三天收盘价)
阅读全文
PYTHON PANDAS入门-(14)PANDAS实现groupby分组统计
摘要:import pandas as pd import numpy as np %matplotlib inline df=pd.DataFrame({'A':['foo','bar','foo','bar','foo','bar','foo','foo'], 'B':['one','one','tw
阅读全文
PYTHON PANDAS入门-(13)PANDAS实现数据合并
摘要:一、使用场景: 批量合并相同格式的excel,给DataFrame添加行、列 二、concat()用法: pd.concat(obj,axis=0,join='outer',ignore_index=False) obj:是一个列表,内容可以是dataframe也可以是series,也可以混合 ax
阅读全文
PYTHON PANDAS入门-(12)PANDAS实现数据Merge
摘要:Merge是将不同的表按key关联到一个表:https://zhuanlan.zhihu.com/p/392717632 pd.merge(left, # 待合并的2个数据框 right, how='inner', # ‘left’, ‘right’, ‘outer’, ‘inner’, ‘cros
阅读全文
PYTHON PANDAS入门-(11)PANDAS的索引index
摘要:一、index的用途 1、更方便的查询 2、提升查询性能 3、自动对齐 4、更多更强大的数据结构支持 二、实例 1、方便查询 import pandas as pd df=pd.read_csv('./ratings.csv') df.head() ''' userId movieId rating
阅读全文
PYTHON PANDAS入门-(10)PANDAS怎样理解axis参数
摘要:一、理解axis参数 1、axis=0或axis=index 如果是单行操作,就是指某一行 如果是聚合操作,指的是跨行cross rows 2、axis=1或axis=columns 如果是单列操作,就是指某一列 如果是聚合操作,指的是跨列cross columns 特别指出:按哪个axis,那个a
阅读全文
PYTHON PANDAS入门-(9)pandas对字符串的处理
摘要:一、方法和原理 1、使用方法:先获取series的str属性,在属性上调用函数 2、只能在字符串列上使用,不能在数字列上使用 3、DataFrame上没有str属性和方法 4、series.str不是原生字符串,但使用方法与原生str类似 5、可以使用str的startwith\contains等b
阅读全文
PYTHON PANDAS入门-(8)pandas数据排序
摘要:一、series的排序 series.sort_values(ascending=True,inplace=False) ascending:默认是True,升序 Inplace:是否修改原始sreies import pandas as pd df=pd.read_csv('./beijing_t
阅读全文
PYTHON PANDAS入门-(7)PANDAS的settingWithCopyWarning的解决方案
摘要:一、复现: import pandas as pd #读取2018年温度记录表 df=pd.read_csv('./beijing_tianqi/beijing_tianqi_2018.csv') #去掉最低温和最高温的°C df.loc[:,'bWendu']=df['bWendu'].str.r
阅读全文
PYTHON PANDAS入门-(6)PANDAS对缺失值的处理
摘要:一、数据表格如下: 问题 1、最上方有空行,左边有空列 2、有完全空的行 3、列中存在空值。小王的数据成绩为空 4、姓名列为合并单元格 二、数据清洗的三类函数 1、检测:isnull和notnull:检测是否为空,可用于dataframe和series 2、丢弃:dropna(axis,how,in
阅读全文
PYTHON PANDAS入门-(5)PANDAS的汇总统计函数
摘要:一、pandas的常用统计函数: 1、汇总类 2、唯一去重和按值计数 3、相关系数和方差 二、汇总类 1、df.describe():提取所有数字列的统计结果 1)查看全部书之列 import pandas as pd df=pd.read_csv('./beijing_tianqi/beijing
阅读全文
PYTHON PANDAS入门-(4)PANDAS新增数据列
摘要:一、四种新增方法 在进行数据分析时,原始数据因为格式的原因不能直接分析,经常需要按照一定条件创建新列,然后进行下一步分析 1、直接赋值 2、apply 3、assign 4、分条件赋值 二、示例 1、直接赋值 1)读取.csv import pandas as pd df=pd.read_csv("
阅读全文
PYTHON PANDAS入门-(3)PANDAS数据查询
摘要:一、常用数据查询方式: 1、df.loc():根据行、列的标签。即能查也能写入,推荐此方法 2、df.iloc():根据行、列的数字位置 3、df.where 4、df.query 二、使用df.loc()查询数据的方法 1、使用单个label值 2、使用值列表 3、使用数值区间范围 4、使用条件语
阅读全文
python pandas入门-(2)pandas数据结构
摘要:一、DataFrame和series: DataFrame:二维数据,是整个表格,为多行多列的 Series:是一维数据,DataFrame中的每一行或一列就是Series 区别:如果在表中查询出的是多行多列的,那么查询结果还是DataFrame结构的,如果查出的是一行或一列,那么查询结果是Seri
阅读全文
anaconda使用
摘要:(base) PS C:\Users\Administrator> conda env list# conda environments:#base * C:\ProgramData\Anaconda3mypandascode C:\ProgramData\Anaconda3\envs\mypand
阅读全文
python panda入门-(1)读取文件
摘要:一、什么是pandas?它能做什么? 二、pandas读取数据: 一)读取.csv格式文件 1、pandas能读取的数据:可以读取表格类型的数据(二维数据) 数据类型 说明 Pandas读取方法 csv、tsv、txt 用逗号分隔、tab分割的纯文本文件 pd.read_csv excel 微软xl
阅读全文