夜的独白

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

全文共3915字,预计学习时长8分钟

![打开百度App,看更多图片](https://img-blog.csdnimg.cn/20190727180220621.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)
有时,在编程领域的一个小技巧、一个小的快捷方式或附加组件能极大地提高生产力。下文中的建议和技巧有些可能很常见,有些则较新颖,相信你在将来处理数据分析项目时会派上用场。

在这里插入图片描述

  1. 分析pandas数据框

Profiling是帮助理解数据的过程,而Pandas Profiling
是帮助理解数据的python包,能简单快速地对Pandas数据框进行探索性数据分析。Pandas中 df.describe() 和df.info

()函数通常作为EDA(电子设计自动化)过程的第一步。但它只提供了一个非常基本的数据概览,对于大型数据集而言,并无太大帮助。此外,Pandas
Profiling函数用一行代码显示了很多信息,交互式HTML报告中也显示了这一点。

对于给定的数据集,pandas profiling包计算以下统计数据:
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180235421.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)

安装

pip install pandas-profiling

or

conda install -c anaconda pandas-profiling

用法

下面使用古老的titanic数据集,演示多功能python分析器的功能。

importing the necessary packages

import pandas as pd

import pandas_profiling

df = pd.read_csv(‘titanic/train.csv’)

pandas_profiling.ProfileReport(df)

只需要这一行代码就可以在Jupyter笔记本中显示数据分析报告。报告非常详细,包括所有必要的图表。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180245220.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)

还可以使用以下代码将报告导出到交互式HTML文件中。

profile =
pandas_profiling.ProfileReport(df)profile.to_file(outputfile=“Titanic data
profiling.html”)

![在这里插入图片描述](https://img-blog.csdnimg.cn/2019072718025579.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)
在这里插入图片描述

  1. 实现pandas 交互式绘图

Pandas内置的.plot()函数是其dataframe类别的一部分。然而,使用该函数呈现的可视化效果并不具有交互性,这使得其吸引力降低。但也不能否认使用pandas.dataframe.plot()函数绘制图表的方便性。如果不需对代码进行重大修改,就可以像用pandas绘制图表那样巧妙地绘制交互式plotly呢?实际上,在Cufflinks
库的帮助下可做到这一点。

Cufflinks库结合了plotly的力量与pandas的灵活性,便于绘图。现在让我们来看看如何安装这个库,并让它在pandas中工作。

安装

pip install plotly # Plotly is a pre-requisite before

installing cufflinks

pip install cufflinks

用法

importing Pandas

import pandas as pd

importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline()

cf.set_config_file(offline=False, world_readable=True

现在可以见证Titanic 数据集的神奇之处了。

df.iplot()
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180346303.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)

![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180353323.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)
df.iplot() vs df.plot()

上边的可视化结果是静态图表,而下边的图表是交互式的,并且更加详细,所有这些都没有对句法进行任何重大更改。
在这里插入图片描述

  1. 一些Magic

Magic命令是Jupyter笔记本中一组方便的函数,旨在解决标准数据分析中一些常见问题。在%lsmagic的帮助下,你可以看到所有可用的magic。

![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180405129.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)
所有可用的magic函数列表

Magic命令有两种:行magic命令,
(以单个%字符为前缀,并在一行输入上操作)和单元magic命令(与双%%前缀关联,并在多行输入上操作)。如果将Magic函数设置为1,则无需键入初始%即可调用。

下面是进行常见数据分析任务的一些实用方法:

· % pastebin

%pastebin将代码上载到Pastebin并返回url。pastebin可提供在线内容托管服务,可用语存储纯文本,如源代码片段,可与他人共享url。事实上,Github
gist也类似于pastebin,尽管存在版本控制。假设python脚本file.py的内容如下:

file.py

def foo(x):

return x

在Jupyter笔记本中使用%pastebin会产生一个pasterbin的url。

在这里插入图片描述
· %matplotlib notebook

%matplotlib内联函数用于呈现Jupyter笔记本中的静态matplotlib绘图。尝试用notebook替换内联部分以轻松获得可缩放和可调整大小的绘图。确保在导入matplotlib库前,调用该函数。

![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180420833.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)
%matplotlib inline vs %matplotlib notebook

· %run

%run函数在笔记本中运行python脚本。

%run file.py

· %%writefile

%%writefile将单元格的内容写入文件。这里的代码将被写到一个名为foo.py的文件中,并保存在当前目录中。

在这里插入图片描述
· %%latex

%%latex函数将单元格内容呈现为LaTeX,这有助于在单元格中编写数学公式和方程。

在这里插入图片描述
在这里插入图片描述
4. 发现并消除错误

交互式调试器也是一个神奇的函数,但是其已有自己的类别。如果在运行代码单元格时出现异常,请在新行中键入并运行%debug。这将打造一个交互式调试环境,令你置身于异常发生之处。你还可以检查程序中分配的变量值,并在此处执行操作如需退出调试器,请按q。

![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180452826.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)
在这里插入图片描述
5. 打印美观

如果想为数据结构生成美观的表示形式,pprint是首选模块。它在打印字典或JSON数据时特别有用。下面是同时使用print和pprint显示输出的示例。

在这里插入图片描述
在这里插入图片描述

  1. 突出注释

可在Jupyter笔记本中使用警示框/注释框突出显示一些重要的东西或任何需要突出的东西。注释的颜色取决于指定的警告类型。只需在需要突出显示的单元格中添加以下任一代码或所有代码。
在这里插入图片描述

· 蓝色警示框:信息

Tip: Use blue boxes (alert-info) for tips and notes.

If it’s a note, you don’t have to include the word “Note”.

在这里插入图片描述
· 黄色警示框:警告

Example: Yellow Boxes are generally used to include additional examples or
mathematical formulas.

在这里插入图片描述

· 绿色警示框:成功

Use green box only when necessary like to display links to related content.

在这里插入图片描述
· 红色警示框:危险

It is good to avoid red boxes but can be used to alert users to not delete
some important part of code etc.

在这里插入图片描述

  1. 打印一个单元格的所有输出

如果Jupyter笔记本的一个单元格中包含以下代码行:

In [1]: 10+5

11+6

Out [1]: 17

单元格的正常属性是只打印最后一个输出,要打印其他输出,需要添加print()函数。事实上,只要在笔记本的顶部添加以下代码片段,就可以打印所有输出。

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = “all”

接下来所有的输出便会依次打印。

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

恢复原来的设置:

InteractiveShell.ast_node_interactivity = “last_expr”

在这里插入图片描述
8. 使用“i”选项运行python脚本

从命令行运行python脚本的一种典型方法是:python hello.py
。但如果在运行相同的脚本时添加一个-i,即 python -i hello.py ,会产生更多好处。原因如下:

· 首先,一旦程序结束,python不会退出解释器。因此,可检查变量值和程序中定义函数的正确性。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180633486.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)

· 其次,可以很容易地调用python调试器,因为通过以下代码即可仍处于解释器中:

import pdb

pdb.pm ()

这能定位异常情况发生之处,从而修正代码。

在这里插入图片描述
9. 自动注释代码

Ctrl/Cmd + / 自动注释单元格中选定的行。再次点击该组合将取消对同一行代码的注释。

![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180641728.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)
在这里插入图片描述

  1. 删除容易恢复难

你是否曾经不小心删除了Jupyter笔记本中的一个单元格?

如果是,这里有一个快捷方式可以撤消删除操作。

· 如果删除了一个单元格中的内容,按CTRL/CMD+Z即可恢复该内容。

· 如果需要恢复整个删除的单元格,按ESC+Z 或者EDIT > Undo Delete Cells即可。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180653291.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)
在这里插入图片描述
留言 点赞 关注

我们一起分享AI学习与发展的干货

欢迎关注全平台AI垂类自媒体 “读芯术”

![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180726840.jpg?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1eGluc2h1eGlhb2JpYW4=,size_16,color_FFFFFF,t_70)

(添加小编微信:dxsxbb,加入读者圈,一起讨论最新鲜的人工智能科技哦~)

在这里插入图片描述

posted on 2021-07-06 15:28  夜的独白  阅读(173)  评论(0)    收藏  举报