随笔分类 - Python数据分析与处理
摘要：pytorch张量数据类型入门1、对于pytorch的深度学习框架，其基本的数据类型属于张量数据类型，即Tensor数据类型，对于python里面的int,float,int array,flaot array对应于pytorch里面即在前面加一个Tensor即可——intTensor ,Float
阅读全文
摘要：利用平pytorch搭建简单的神经网络实现minist手写字体的识别，采用三层线性函数迭代运算，使得其具备一定的非线性转化与运算能力，其数学原理如下： 其具体实现代码如下所示：import torchimport matplotlib.pyplot as pltdef plot_curve(data): #曲线输出函数构建 fig=plt.figure() plt.pl...
阅读全文
摘要：对于pytorch的深度学习框架，在建立人工神经网络时整体的步骤主要有以下四步： 1、载入原始数据 2、构建具体神经网络 3、进行数据的训练 4、数据测试和验证 pytorch神经网络的数据载入，以MINIST书写字体的原始数据为例： import torch import matplotlib.p
阅读全文
摘要：如何将本地项目上传至GitHub 首先你需要一个github账号，所有还没有的话先去注册吧！ https://github.com/ 我们使用git需要先安装git工具，这里给出下载地址，下载后一路直接安装即可： https://git-for-windows.github.io/ 1.进入Gith
阅读全文
摘要：1、集成学习是指对于同一个基础数据集使用不同的机器学习算法进行训练，最后结合不同的算法给出的意见进行决策，这个方法兼顾了许多算法的"意见"，比较全面，因此在机器学习领域也使用地非常广泛。生活中其实也普遍存在集成学习的方法，比如买东西找不同的人进行推荐，病情诊断进行多专家会诊等，考虑各方面的意见进行最
阅读全文
摘要：//2019.08.19#机器学习集成学习1、集成学习是指对于同一个基础数据集使用不同的机器学习算法进行训练，最后结合不同的算法给出的意见进行决策，这个方法兼顾了许多算法的"意见"，比较全面，因此在机器学习领域也使用地非常广泛。 集成学习(ensemble learning)本身不是一个单独的机器学
阅读全文
摘要：1、决策树算法是一种非参数的决策算法，它根据数据的不同特征进行多层次的分类和判断，最终决策出所需要预测的结果。它既可以解决分类算法，也可以解决回归问题，具有很好的解释能力。另外，对于决策树的构建方法具有多种出发点，它具有多种构建方式，如何构建决策树的出发点主要在于决策树每一个决策点上需要在哪些维度上
阅读全文
摘要：1、支撑向量机SVM是一种非常重要和广泛的机器学习算法，它的算法出发点是尽可能找到最优的决策边界，使得模型的泛化能力尽可能地好，因此SVM对未来数据的预测也是更加准确的。 2、SVM既可以解决分类问题，又可以解决回归问题，原理整体相似，不过也稍有不同。 在sklearn章调用SVM算法的代码实现如下
阅读全文
摘要：sklearn分类算法的评价指标调用#二分类问题的算法评价指标import numpy as npimport matplotlib.pyplot as pltimport pandas as pdfrom sklearn import datasetsd=datasets.load_digits(
阅读全文
摘要：sklearn中实现多分类任务（OVR和OVO） 1、OVR和OVO是针对一些二分类算法（比如典型的逻辑回归算法）来实现多分类任务的两种最为常用的方式，sklearn中专门有其调用的函数，其调用过程如下所示： #多分类任务的封装OVR(n个)和OVO（Cmn个）#sklearn中采用的逻辑回归是可以
阅读全文
摘要：sklearn实现多分类逻辑回归 #二分类逻辑回归算法改造适用于多分类问题1、对于逻辑回归算法主要是用回归的算法解决分类的问题，它只能解决二分类的问题，不过经过一定的改造便可以进行多分类问题，主要的改造方式有两大类：(1)OVR/A(One VS Rest/ALL)(2)OVO(One VS One
阅读全文
摘要：1、逻辑回归算法即可以看做是回归算法，也可以看作是分类算法，通常用来解决分类问题，主要是二分类问题，对于多分类问题并不适合，也可以通过一定的技巧变形来间接解决。 2、决策边界是指不同分类结果之间的边界线(或者边界实体)，它具体的表现形式一定程度上说明了算法训练模型的过拟合程度，我们可以通过决策边界来
阅读全文
摘要：逻辑回归的数学原理推导及原理代码实现 1、逻辑回归算法是目前应用最为广泛的一种算法，虽然是回归算法，但是它解决的是分类问题，而不是回归问题，它的原理是将样本的特征与样本发生的概率，而概率是一个数字，因此将其称为回归算法。 2、对于逻辑回归因为得到的预测结果是事件的发生概率，因此它的预测值值域为0-1
阅读全文
摘要：机器学习的模型泛化 1、机器学习的模型误差主要含有三个方面的误差：模型偏差、模型方差以及不可避免的误差。 2、对于机器学习训练模型的偏差主要因为对于问题本身的假设不对，比如非线性误差假设为线性误差进行训练和预测，算法层面上欠拟合是产生较大偏差的主要原因。另外主要来自于特征参量与最终结果的相关性，如果
阅读全文
摘要：机器学习中的过拟合和欠拟合 1、机器学习算法对于整体的数据训练和拟合，以典型的多元线性回归的方式为例，通过设定拟合的最高次数，然后对比输出的曲线结果可以看出，随着拟合函数次数的增大，其拟合线性回归模型的R2的值在不断地增大，均方差也在不断地减小，看起来拟合的结果越来越准确，其实质只是对于所存在原始数
阅读全文
摘要：sklearn中的多项式回归算法 1、多项式回归法多项式回归的思路和线性回归的思路以及优化算法是一致的，它是在线性回归的基础上在原来的数据集维度特征上增加一些另外的多项式特征，使得原始数据集的维度增加，然后基于升维后的数据集用线性回归的思路进行求解，从而得到相应的预测结果和各项的系数。 2、多项式回
阅读全文
摘要：PCA算法可以使得高维数据（mxn）降到低维，而在整个降维的过程中会丢失一定的信息，也会因此而实现降噪除噪的效果，另外，它通过降维可以计算出原本数据集的主成分分量Wk矩阵（kxn），如果将其作为数据样本，则可以将其作为原来数据集特征的主特征分量，如果用在人脸识别领域则可以作为人脸数据集的特征脸具体实现降噪效果和人脸特征脸的代码如下所示：#1-1利用手写字体数据集MNIST对PCA算法进行使用和效果
阅读全文
摘要：sklearn中调用PCA算法 PCA算法是一种数据降维的方法，它可以对于数据进行维度降低，实现提高数据计算和训练的效率，而不丢失数据的重要信息，其sklearn中调用PCA算法的具体操作和代码如下所示：
阅读全文
摘要：PCA主成分分析法的数据主成分分析过程及python原理实现 1、对于主成分分析法，在求得第一主成分之后，如果需要求取下一个主成分，则需要将原来数据把第一主成分去掉以后再求取新的数据X’的第一主成分，即为原来数据X的第二主成分，循环往复即可。 2、利用PCA算法的原理进行数据的降维，其计算过程的数学
阅读全文
摘要：PCA(Principal Component Analysis）主成分分析法的数学原理推导1、主成分分析法PCA的特点与作用如下：(1)是一种非监督学习的机器学习算法(2)主要用于数据的降维(3)通过降维，可以发现人类更加方便理解的特征(4)其他的应用：去燥；可视化等2、主成分分析法的数学原理主要
阅读全文
浙公网安备 33010602011771号