随笔分类 - 人工智能与机器学习
摘要：sklearn分类算法的评价指标调用#二分类问题的算法评价指标import numpy as npimport matplotlib.pyplot as pltimport pandas as pdfrom sklearn import datasetsd=datasets.load_digits(
阅读全文
摘要：//2019.08.14#机器学习算法评价分类结果1、机器学习算法的评价指标一般有很多种，对于回归问题一般有MAE,MSE，AMSE等指标，而对于分类算法的评价指标则更多：准确度score，混淆矩阵、精准率、召回率以及ROC曲线、PR曲线等。2、对于分类算法只用准确率的评价指标是不够的，并且对于一些
阅读全文
摘要：sklearn中实现多分类任务（OVR和OVO） 1、OVR和OVO是针对一些二分类算法（比如典型的逻辑回归算法）来实现多分类任务的两种最为常用的方式，sklearn中专门有其调用的函数，其调用过程如下所示： #多分类任务的封装OVR(n个)和OVO（Cmn个）#sklearn中采用的逻辑回归是可以
阅读全文
摘要：sklearn实现多分类逻辑回归 #二分类逻辑回归算法改造适用于多分类问题1、对于逻辑回归算法主要是用回归的算法解决分类的问题，它只能解决二分类的问题，不过经过一定的改造便可以进行多分类问题，主要的改造方式有两大类：(1)OVR/A(One VS Rest/ALL)(2)OVO(One VS One
阅读全文
摘要：1、逻辑回归算法即可以看做是回归算法，也可以看作是分类算法，通常用来解决分类问题，主要是二分类问题，对于多分类问题并不适合，也可以通过一定的技巧变形来间接解决。 2、决策边界是指不同分类结果之间的边界线(或者边界实体)，它具体的表现形式一定程度上说明了算法训练模型的过拟合程度，我们可以通过决策边界来
阅读全文
摘要：逻辑回归的数学原理推导及原理代码实现 1、逻辑回归算法是目前应用最为广泛的一种算法，虽然是回归算法，但是它解决的是分类问题，而不是回归问题，它的原理是将样本的特征与样本发生的概率，而概率是一个数字，因此将其称为回归算法。 2、对于逻辑回归因为得到的预测结果是事件的发生概率，因此它的预测值值域为0-1
阅读全文
摘要：//2019.08.13#逻辑回归算法(Logistic Regression)1、根据2017-2018年人工智能与大数据科学领域的统计，不同的机器学习算法应用占比排名如下，其中，逻辑回归、决策树、随机森林以及人工神经网络算法占比前四，应用最为广泛，其次是贝叶斯算法、集成学习以及支持向量机SVM算
阅读全文
摘要：机器学习的模型泛化 1、机器学习的模型误差主要含有三个方面的误差：模型偏差、模型方差以及不可避免的误差。 2、对于机器学习训练模型的偏差主要因为对于问题本身的假设不对，比如非线性误差假设为线性误差进行训练和预测，算法层面上欠拟合是产生较大偏差的主要原因。另外主要来自于特征参量与最终结果的相关性，如果
阅读全文
摘要：机器学习中的过拟合和欠拟合 1、机器学习算法对于整体的数据训练和拟合，以典型的多元线性回归的方式为例，通过设定拟合的最高次数，然后对比输出的曲线结果可以看出，随着拟合函数次数的增大，其拟合线性回归模型的R2的值在不断地增大，均方差也在不断地减小，看起来拟合的结果越来越准确，其实质只是对于所存在原始数
阅读全文
摘要：sklearn中的多项式回归算法 1、多项式回归法多项式回归的思路和线性回归的思路以及优化算法是一致的，它是在线性回归的基础上在原来的数据集维度特征上增加一些另外的多项式特征，使得原始数据集的维度增加，然后基于升维后的数据集用线性回归的思路进行求解，从而得到相应的预测结果和各项的系数。 2、多项式回
阅读全文
摘要：PCA算法可以使得高维数据（mxn）降到低维，而在整个降维的过程中会丢失一定的信息，也会因此而实现降噪除噪的效果，另外，它通过降维可以计算出原本数据集的主成分分量Wk矩阵（kxn），如果将其作为数据样本，则可以将其作为原来数据集特征的主特征分量，如果用在人脸识别领域则可以作为人脸数据集的特征脸具体实现降噪效果和人脸特征脸的代码如下所示：#1-1利用手写字体数据集MNIST对PCA算法进行使用和效果
阅读全文
摘要：sklearn中调用PCA算法 PCA算法是一种数据降维的方法，它可以对于数据进行维度降低，实现提高数据计算和训练的效率，而不丢失数据的重要信息，其sklearn中调用PCA算法的具体操作和代码如下所示：
阅读全文
摘要：PCA主成分分析法的数据主成分分析过程及python原理实现 1、对于主成分分析法，在求得第一主成分之后，如果需要求取下一个主成分，则需要将原来数据把第一主成分去掉以后再求取新的数据X’的第一主成分，即为原来数据X的第二主成分，循环往复即可。 2、利用PCA算法的原理进行数据的降维，其计算过程的数学
阅读全文
摘要：PCA(Principal Component Analysis）主成分分析法的数学原理推导1、主成分分析法PCA的特点与作用如下：(1)是一种非监督学习的机器学习算法(2)主要用于数据的降维(3)通过降维，可以发现人类更加方便理解的特征(4)其他的应用：去燥；可视化等2、主成分分析法的数学原理主要
阅读全文
摘要：对于随机梯度法的调试，主要是对于损失函数的梯度的计算准确度的判断，即函数中关于各个参数偏导数DJ的计算，主要有两种方式：数学公式计算：利用多元函数的偏导计算，确定出其DJ的向量；（2）导数定义逼近法：利用逼近的方式进行各个参数偏导数的计算 其不同两种方式代码实现如下所示：import numpy as npimport matplotlib.pyplot as plt#多元线性回归中使用梯度...
阅读全文
摘要：sklearn中实现随机梯度下降法 随机梯度下降法是一种根据模拟退火的原理对损失函数进行最小化的一种计算方式，在sklearn中主要用于多元线性回归算法中，是一种比较高效的最优化方法，其中的梯度下降系数（即学习率eta）随着遍历过程的进行在不断地减小。另外，在运用随机梯度下降法之前需要利用sklea
阅读全文
摘要：梯度下降法的python代码实现（多元线性回归最小化损失函数） 1、梯度下降法主要用来最小化损失函数，是一种比较常用的最优化方法，其具体包含了以下两种不同的方式：批量梯度下降法(沿着梯度变化最快的方向进行搜索最小值)和随机梯度下降法(主要随机梯度下降，通过迭代运算，收敛到最小值) 2、随机梯度与批量
阅读全文
摘要：//2019.08.06 机器学习算法中的梯度下降法(gradient descent)1、对于梯度下降法，具有以下几点特别说明：(1)不是一种机器学习算法，不可以解决分类或者回归问题；(2)是一种基于搜索的最优化方法；(3)作用是最小化损失函数；(4)梯度上升法：最大化效用函数。2、梯度下降法就是
阅读全文
摘要：1、对于多元线性回归算法，它对于数据集具有较好的可解释性，我们可以对比不过特征参数的输出系数的大小来判断它对数据的影响权重，进而对其中隐含的参数进行扩展和收集，提高整体训练数据的准确性。 2、多元回归算法的数学原理及其底层程序编写如下： 根据以上的数学原理可以从底层封装编写整体的多元线性回归算法如下
阅读全文
摘要：对于多元线性回归算法，它对于数据集具有较好的可解释性，我们可以对比不过特征参数的输出系数的大小来判断它对数据的影响权重，进而对其中隐含的参数进行扩展和收集，提高整体训练数据的准确性。整体实现代码如下所示:#1-1导入相应的基础数据集模块import numpy as npimport matplot
阅读全文
浙公网安备 33010602011771号