摘要: 一、导入数据 # 从 CSV 文件导入数据 pd.read_csv('file.csv', name=['列名','列名2']) # 从限定分隔符的文本文件导入数据 pd.read_table(filename, header=0) # Excel 导入,指定 sheet 和表头 pd.read_e 阅读全文
posted @ 2021-04-14 20:51 忆凡人生 阅读(242) 评论(0) 推荐(0) 编辑
摘要: 目录 一、to_excel方法定义 二、read_excel详细参数 三、read_csv 一、to_excel方法定义 DataFrame.to_excel(路径, sheet_name='Sheet1', na_rep='', float_format=None, columns=None, h 阅读全文
posted @ 2021-04-14 20:50 忆凡人生 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 同比和环比:环比和同比用于描述统计数据的变化情况 环比:表示本次统计段与相连的上次统计段之间的比较。 同比:即同期相比,表示某个特定统计段今年与去年之间的比较。 读取连续3年的天气数据 方法1:pandas.Series.pct_change pct_change方法直接算好了"(新-旧)/旧"的百 阅读全文
posted @ 2021-04-14 20:50 忆凡人生 阅读(463) 评论(0) 推荐(0) 编辑
摘要: 一、找出最影响结果的那些特征 实例演示:泰坦尼克沉船事件中,最影响生死的因素有哪些? 1、导入相关的包 2、导入泰坦尼克号的数据 这种方法也可以: 3、数据清理和转换 3.1 查看是否有空值列 3.2 给Age列填充平均值 3.2 将性别列变成数字 3.3 给Embarked列填充空值,字符串转换成 阅读全文
posted @ 2021-04-14 20:47 忆凡人生 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 一、explode实现一行变多行统计 解决实际问题:一个字段包含多个值,怎样将这个值拆分成多行,然后实现统计 比如:一个电影有多个分类、一个人有多个喜好,需要按分类、喜好做统计 1、读取数据 问题:怎样实现这样的统计,每个题材有多少部电影? 解决思路: 将Genres按照分隔符|拆分 按Genres 阅读全文
posted @ 2021-04-14 20:47 忆凡人生 阅读(1369) 评论(0) 推荐(0) 编辑
摘要: 在机械学习中,我们经常会对数据进行分箱处理的操作, 也就是 把一段连续的值切分成若干段,每一段的值看成一个分类。这个把连续值转换成离散值的过程,我们叫做分箱处理。 比如,把年龄按15岁划分成一组,0-15岁叫做少年,16-30岁叫做青年,31-45岁叫做壮年。在这个过程中,我们把连续的年龄分成了三个 阅读全文
posted @ 2021-04-14 20:46 忆凡人生 阅读(826) 评论(0) 推荐(0) 编辑
摘要: 一、Categorical数据类型可以降低数据存储提升计算速度 1、读取数据 2、使用categorical类型降低存储量 3、提升运算速度比较 二、结合Pyecharts绘制折线图形 Echarts是百度开源的非常好用强大的可视化图表库,Pyecharts是它的Python库版本 1、数据 2、使 阅读全文
posted @ 2021-04-14 20:46 忆凡人生 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 一、文件夹下的多个表格合并 1,把文件夹下面所有的文件都遍历出来 2、循环读取每个文件 (1)第一次读取的文件放入一个空的表中,起名叫合并表 (2)从第二次开始每次都与这个合并表进行合并 3、写入Excel 4、所有表表头行数要一至,通过header=1进行设置 伪代码 路径 = 'c:/panda 阅读全文
posted @ 2021-04-14 20:45 忆凡人生 阅读(1041) 评论(0) 推荐(0) 编辑
摘要: 一、groupby分组统计 类似SQL: select city,max(temperature) from city_weather group by city; groupby:先对数据分组,然后在每个分组上应用聚合函数、转换函数,官网如下: 1 分组使用聚合函数做数据统计 1)单个列group 阅读全文
posted @ 2021-04-14 20:45 忆凡人生 阅读(8210) 评论(1) 推荐(2) 编辑
摘要: concat:可以沿一条轴将多个对象连接到一起 merge:可以根据一个或多个键将不同的DataFrame中的行连接起来。 join:inner是交集,outer是并集。 建议使用:concat和merge 一、 concat 1.1 语法格式: pandas.concat(objs, axis=0 阅读全文
posted @ 2021-04-14 20:44 忆凡人生 阅读(1272) 评论(0) 推荐(0) 编辑
摘要: 一、数据转换函数map、apply、applymap 数据转换函数对比:map、apply、applymap: map:只用于Series,实现每个值->值的映射; apply:用于Series实现每个值的处理,用于Dataframe实现某个轴的Series的处理; applymap:只能用于Dat 阅读全文
posted @ 2021-04-14 20:42 忆凡人生 阅读(525) 评论(0) 推荐(0) 编辑
摘要: 例如:36℃把36分割出来,并转成整形 数据['温度'].str.replace('℃','').astype('int64') Pandas的字符串处理: 使用方法:先获取Series的str属性,然后在属性上调用函数; 只能在字符串列上使用,不能数字列上使用; Dataframe上没有str属性 阅读全文
posted @ 2021-04-14 20:42 忆凡人生 阅读(296) 评论(0) 推荐(0) 编辑
摘要: 一、Pandas的增删改 数据情况: 1.1 增加 1)直接赋值 # 替换掉温度的后缀℃ df.loc[:, "bWendu"] = df["bWendu"].str.replace("℃", "").astype('int32') df.loc[:, "yWendu"] = df["yWendu" 阅读全文
posted @ 2021-04-14 20:41 忆凡人生 阅读(475) 评论(0) 推荐(0) 编辑
摘要: 一、SettingWithCopyWarning报警 数据: 1 错误复现 2 原因 发出警告的代码 df[condition]["wen_cha"] = df["bWendu"]-df["yWendu"] 相当于:df.get(condition).set(wen_cha),第一步骤的get发出了 阅读全文
posted @ 2021-04-14 20:40 忆凡人生 阅读(314) 评论(0) 推荐(0) 编辑
摘要: 一、简介 什么是Pandas? 一个开源的Python类库:用于数据分析、数据处理、数据可视化 高性能 容易使用的数据结构 容易使用的数据分析工具 很方便和其它类库一起使用: numpy:用于数学计算 scikit-learn:用于机器学习 二、Pandas数据结构 2.1 Series Serie 阅读全文
posted @ 2021-04-14 20:23 忆凡人生 阅读(519) 评论(0) 推荐(0) 编辑