摘要：
机器学习中的单一评估指标 在使用机器学习，通常都会面对一种情况，面对众多的模型和众多的性能指标，究竟应该如何来选择模型。本篇文章主要就是介绍，如何利用单一评估指标来选择模型，主要内容来自于deeplearnai视频教程。 单一评估指标应用机器学习主要可以分为三个过程想法、编码、看效果。当最开始面对一 阅读全文
posted @ 2020-02-25 13:36
刘通1997
阅读(250)
评论(0)
推荐(0)
摘要：
结构化机器学习项目 一 ML项目流程 1，确立目标（确定开发/测试集 + 唯一最优化指标） 确定开发/测试集：开发/测试集应尽可能接近将来应用场景中的数据。 划分数据集：开发集和测试集大小足以评估模型表现即可。 1、正交化正交化：每次调整对某一性能进行针对性调试和优化，更快地发现影响效应，从而进行综 阅读全文
posted @ 2020-02-25 13:34
刘通1997
阅读(366)
评论(0)
推荐(0)
摘要：
在下面的内容中，我们用C来表示需要分的类数。 最后一层的隐藏单元个数为4，为所分的类的数目，输出的值表示属于每个类的概率。 Softmax函数的具体步骤如下图： 简单来说有三步： 计算z值（4×1矩阵） 将z作为指数，得到中间变量t（维度同z） 对t归一化，得到a（维度同t，同z）。 Softmax 阅读全文
posted @ 2020-02-25 13:31
刘通1997
阅读(303)
评论(0)
推荐(0)
摘要：
正则化网络激活函数（Batch归一化）： 在神经网络训练中，只是对输入层数据进行归一化处理，却没有在中间层进行归一化处理。要知道，虽然我们对输入数据进行了归一化处理，但是输入数据经过σ(WX+b)σ(WX+b)σ(WX+b)这样的矩阵乘法以及非线性运算之后，其数据分布很可能被改变，而随着深度网络的多 阅读全文
posted @ 2020-02-25 13:28
刘通1997
阅读(992)
评论(0)
推荐(0)
摘要：
超参数 主要的超参数是上面几个，最重要的是红色的 学习率，其次是黄色的 m-b尺寸、隐藏层层数、动量梯度下降的贝塔。 左图是早期超参数选择的方法：以两个超参数的选择为例，在网格中均匀布置一些点，然后将这些点全部试一遍，哪个效果好用哪个。右图是之后有的随机选择点的方法，把随机选择的点全部试一遍，哪个好 阅读全文
posted @ 2020-02-25 13:26
刘通1997
阅读(1415)
评论(0)
推荐(0)
摘要：
优化算法： 1.mini-bitch： 如果数据集特别大，把所有的数据一起处理会使训练速度特别慢。mini-bitch就是把数据集平均分成几个部分，然后单独进行处理，选择合理的子数据集大小会使训练速度快很多。 左图为未采用m-b的图像，右图是采用的。可以看出采用之后的J并不是一直下降的，但是整体下降 阅读全文
posted @ 2020-02-25 13:23
刘通1997
阅读(413)
评论(0)
推荐(0)
摘要：
梯度消失或爆炸： 如果一个神经网络的深度很大，即层数很多。那么即使是很小的w(大于1)，那么y帽也会特别大（指数级增长），如果w很接近1但是小于1，y帽也会特别小（指数级减小），并且与层数相关的导数和梯度函数也是呈指数增长或指数下降。如果L的激活函数或梯度函数以指数级递增或递减，那么他们会变得极大或 阅读全文
posted @ 2020-02-25 13:20
刘通1997
阅读(286)
评论(0)
推荐(0)
摘要：
提高训练速度的方法：归一化输入 假设数据集的每一个训练样本只有两个特征x1、x2，那么训练集： 原始数据集 绘制出的图形如图所示，要对其进行标准化分为两步： 1、对训练集进行零均值化处理，顾名思义，也就是处理后的数据集的均值为零。2、归一化方差。即使方差变为1。 分步讲解： 1、怎样来使均值变为0呢 阅读全文
posted @ 2020-02-25 13:19
刘通1997
阅读(487)
评论(0)
推荐(1)
摘要：
如果数据被过度拟合，导致方差过大，那么就可以用正则化： L2正则化（最常用的方法）： 在之前的成本函数 J=后面加上 拉姆他是个参数，是人为定义的。m是训练样本数量，是权重矩阵w的所有元素的平方和。L是神经网络的层数，因为每层都有一个w矩阵，所以一共有L个W矩阵。 正则化后的dw变为左图这个，左图的 阅读全文
posted @ 2020-02-25 13:17
刘通1997
阅读(204)
评论(0)
推荐(0)
摘要：
Bias(偏差) 模型在样本上的输出与真实值之间的误差，即模型本身的精准度，反应出算法的拟合能力。 Variance(方差) 模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性，反应出预测的波动情况。 偏差与方差的关系 偏差与方差之间按照高低，可以组合成四种关系，如下图所示 左图为欠拟合，偏 阅读全文
posted @ 2020-02-25 13:12
刘通1997
阅读(1573)
评论(0)
推荐(0)
浙公网安备 33010602011771号