随笔分类 - Python数据分析与处理
摘要：metrics.png wiki.png 机器学习度量指标 分类评估指标 TN TP FN FP TP：预测为正向（P），实际上预测正确（T），即判断为正向的正确率 TN：预测为负向（N），实际上预测正确（T），即判断为负向的正确率 FP：预测为正向（P），实际上预测错误（F），误报率，即把负向判断
阅读全文
摘要：//2019.07.23 1、箱形图，又称为盒式图，一般可以很好地反映出数据分布的特征，也可以进行多项数据之间分布特征的比较，它主要包含五个基础数据：中位数，两个上下分位数以及上下边缘线数据 其中的一些参数具体含义及其计算过程如下： 2、双轴图的绘制代码：import numpy as npimpo
阅读全文
摘要：//2019.07.22pyhton中matplotlib模块的应用pyhton中matplotlib是可视化图像库的第三方库，它可以实现图像的可视化，输出不同形式的图形1、可视化图形的输出和展示需要调用matplotlib第三方库的函数plt.show(),它的功能类似于print，相当于打印出自
阅读全文
摘要：一、groupby 能做什么？ python中groupby函数主要的作用是进行数据的分组以及分组后地组内运算！ 对于数据的分组和分组运算主要是指groupby函数的应用，具体函数的规则如下： df[](指输出数据的结果属性名称).groupby([df[属性],df[属性])(指分类的属性，数据的
阅读全文
摘要：//2019.07.19/20 python中pandas数据分析基础(数据重塑与轴向转化、数据分组与分组运算、离散化处理、多数据文件合并操作) 3.1 数据重塑与轴向转换1、层次化索引使得一个轴上拥有多个索引2、series多层次索引：(1)series的层次化索引：主要可以通过s[索引第1层:索
阅读全文
摘要：//2019.07.18pyhton中pandas数据分析学习——第二部分2.1 数据格式转换1、查看与转换表格某一列的数据格式：(1)查看数据类型：某一列的数据格式：df["列属性名称"].dtype(2)数据类型转换：某一列的数据类型转换需要用到数据转换函数：df[列属性名称]=df[列属性名称
阅读全文
摘要：//2019.07.18 pandas是python提供的非常好用的数据分析模块，但是在使用pandas进行数据分析时，有时候需要查看打印的结果，当dataframe行数或者列数比较多的时候，打印结果总是有一些省略号，不能完整的看到数据的大致分布，比如最大值，最小值，等等，了解数据分布的区间有助于进
阅读全文
摘要：//2019.07.17 pyhton中pandas数据分析基础入门（一文看懂pandas）， 教你迅速入门pandas数据分析模块（后面附有入门完整代码，可以直接拷贝运行，含有详细的代码注释，可以轻松帮助你入门理解） 1.1 pandas模块简介 首先，使用pandas相应的操作之前都需要导入pa
阅读全文
摘要：//2019.07.16python中pandas模块应用1、pandas是python进行数据分析的数据分析库，它提供了对于大量数据进行分析的函数库和各种方法，它的官网是http://pandas.pydata.org/； 2、对于pandas数据分析模块的应用主要包括：数据结构的定义，对于数据表
阅读全文
摘要：pyhton读入Excel和csv数据文件#file 数据文件的输入输出操作（主要包括Excel表格和csv表格文件）import pandas as pd #pyhton读入数据必须要导入pandas模块import numpy as npfrom pylab import *import mat
阅读全文
摘要：一文看懂pandas的透视表pivot_table 一、概述 1.1 什么是透视表？ 透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被称作pivot_table。 1.2 为什么要使用pivot_table
阅读全文
摘要：最小二乘法则是一种统计学习优化技术，它的目标是最小化误差平方之和来作为目标J(θ)J(θ)，从而找到最优模型。 7. SciPy最小二乘法 最小二乘法则是一种统计学习优化技术，它的目标是最小化误差平方之和来作为目标J(θ)，从而找到最优模型。 1、线性最小二乘法 假设真实的模型是y=2x+1，我们有
阅读全文
摘要：pyhton数据处理与分析之scipy优化器及不同函数求根 1、Scipy的优化器模块optimize可以用来求取不同函数在多个约束条件下的最优化问题，也可以用来求取函数在某一点附近的根和对应的函数值；2、scipy求取函数最优解问题(以多约束条件下的最小值为例)如下所示：import numpy
阅读全文
摘要：scipy样条插值 scipy样条插值1、样条插值法是一种以可变样条来作出一条经过一系列点的光滑曲线的数学方法。插值样条是由一些多项式组成的，每一个多项式都是由相邻的两个数据点决定的，这样，任意的两个相邻的多项式以及它们的导数(不包括仇阶导数)在连接点处都是连续的。 连接点的光滑与连续是样条插值和前
阅读全文
摘要：python矩阵的运算大全 python矩阵运算可以用numpy模块，也可以用scipy模块，主要运算包括以下几种： #1-1python矩阵运算所需模块 import numpy as npimport matplotlib.pyplot as pltimport scipy.linalg as
阅读全文
摘要：python中Scipy模块求取积分的方法： SciPy下实现求函数的积分的函数的基本使用，积分，高等数学里有大量的讲述，基本意思就是求曲线下面积之和。 其中rn可认为是偏差，一般可以忽略不计，wi可以视为权重。 在SciPy里提供了很多的求各类积分的函数，依据传入参数的不同可以分为两类：一类是传入
阅读全文
摘要：//2019.7.14晚matplotlib七种常见图像输出编程大全 七种图形汇总输出如下： import numpy as np #导入数据结构nmupy模块import matplotlib.pyplot as plt #导入matplotlib图像输出模块plt.rcParams["font.
阅读全文
摘要：//2019.07.141、matplotlib模块输出函数图像应用时主要用的是它的ptplot模块，因此在导入使用该模块时可以直接用以下语句：import matplotlib.pyplot as plt2、matplotlib模块输出图线时它得到坐标轴数值以及标题正常默认是英文形式，而如果需要在
阅读全文
摘要：python中numpy矩阵运算操作大全（非常全） //2019.07.10晚python矩阵运算大全1、矩阵的输出形式：对于任何一个矩阵，python输出的模板是：import numpy as np #引入numpy模块np1=np.array([[1,2,3],[1,3,4],[1,6,2].
阅读全文
摘要：//2019.07.10python数据分析基础——numpy（数据结构基础） import numpy as np: 1、python数据分析主要的功能实现模块包含以下六个方面：（1）numpy——数据结构基础（2）Scipy——强大的数据计算（矩阵计算、信号处理、数理分析等）（3）matplot
阅读全文