摘要: 在一些数据分析业务中,数据缺失是我们经常遇见的问题,缺失值会导致数据质量的下降,从而影响模型预测的准确性,这对于机器学习和数据挖掘影响尤为严重。因此妥善的处理缺失值能够使模型预测更为准确和有效。 为什么会存在缺失值? 前面章节的示例中,我们遇到过很多 NaN 值,关于缺失值您可能会有很多疑问,数据为 阅读全文
posted @ 2021-12-05 13:31 菩提浪子 阅读(386) 评论(0) 推荐(0)
摘要: 在《Python Pandas窗口函数》一节,我们重点介绍了窗口函数。我们知道,窗口函数可以与聚合函数一起使用,聚合函数指的是对一组数据求总和、最大值、最小值以及平均值的操作,本节重点讲解聚合函数的应用。 应用聚合函数 首先让我们创建一个 DataFrame 对象,然后对聚合函数进行应用。 impo 阅读全文
posted @ 2021-12-05 13:30 菩提浪子 阅读(684) 评论(0) 推荐(0)
摘要: 为了能更好地处理数值型数据,Pandas 提供了几种窗口函数,比如移动函数(rolling)、扩展函数(expanding)和指数加权函数(ewm)。窗口函数应用场景非常多。举一个简单的例子:现在有 10 天的销售额,而您想每 3 天求一次销售总和,也就说第五天的销售额等于(第三天 + 第四天 + 阅读全文
posted @ 2021-12-05 13:29 菩提浪子 阅读(1357) 评论(0) 推荐(0)
摘要: Pandas 的本质是统计学原理在计算机领域的一种应用实现,通过编程的方式达到分析、描述数据的目的。而统计函数则是统计学中用于计算和分析数据的一种工具。在数据分析的过程中,使用统计函数有助于我们理解和分析数据。本节将学习几个常见的统计函数,比如百分比函数、协方差函数、相关系数等。 百分比变化(pct 阅读全文
posted @ 2021-12-05 13:28 菩提浪子 阅读(584) 评论(0) 推荐(0)
摘要: 在数据分析过程中,很多时候需要从数据表中提取出相应的数据,而这么做的前提是需要先“索引”出这一部分数据。虽然通过 Python 提供的索引操作符"[]"和属性操作符"."可以访问 Series 或者 DataFrame 中的数据,但这种方式只适应与少量的数据,为了解决这一问题,Pandas 提供了两 阅读全文
posted @ 2021-12-05 13:27 菩提浪子 阅读(591) 评论(0) 推荐(0)
摘要: 在用 Pandas 做数据分析的过程中,总需要打印数据分析的结果,如果数据体量较大就会存在输出内容不全(部分内容省略)或者换行错误等问题。Pandas 为了解决上述问题,允许你对数据显示格式进行设置。下面列出了五个用来设置显示格式的函数,分别是: get_option() set_option() 阅读全文
posted @ 2021-12-05 13:25 菩提浪子 阅读(690) 评论(0) 推荐(0)
摘要: Pandas 提供了一系列的字符串函数,因此能够很方便地对字符串进行处理。在本节,我们使用 Series 对象对常用的字符串函数进行讲解。常用的字符串处理函数如下表所示: 函数名称函数功能和描述 lower() 将的字符串转换为小写。 upper() 将的字符串转换为大写。 len() 得出字符串的 阅读全文
posted @ 2021-12-05 13:24 菩提浪子 阅读(330) 评论(0) 推荐(0)
摘要: “去重”通过字面意思不难理解,就是删除重复的数据。在一个数据集中,找出重复的数据删并将其删除,最终只保存一个唯一存在的数据项,这就是数据去重的整个过程。删除重复数据是数据分析中经常会遇到的一个问题。通过数据去重,不仅可以节省内存空间,提高写入性能,还可以提升数据集的精确度,使得数据集不受重复数据的影 阅读全文
posted @ 2021-12-05 12:31 菩提浪子 阅读(2965) 评论(0) 推荐(0)
摘要: Pands 提供了两种排序方法,分别是按标签排序和按数值排序。本节讲解 Pandas 的排序操作。下面创建一组 DataFrame 数据,如下所示: import pandas as pd import numpy as np #行标签乱序排列,列标签乱序排列 unsorted_df=pd.Data 阅读全文
posted @ 2021-12-05 12:30 菩提浪子 阅读(292) 评论(0) 推荐(0)
摘要: 遍历是众多编程语言中必备的一种操作,比如 Python 语言通过 for 循环来遍历列表结构。那么 Pandas 是如何遍历 Series 和 DataFrame 结构呢?我们应该明确,它们的数据结构类型不同的,遍历的方法必然会存在差异。对于 Series 而言,您可以把它当做一维数组进行遍历操作; 阅读全文
posted @ 2021-12-05 12:28 菩提浪子 阅读(735) 评论(0) 推荐(0)