随笔分类 - 机器学习笔记-李宏毅
摘要：模型的深度探究 从图1-1中我们可以得出，当模型的层数越多，模型对应的错误率就降低。但这就可以得出模型的深度应该越深越好吗？实际上从图1-1上很难得出以上结论，因为当模型越深，模型所具备的参数具越多，就拥有更强的学习能力，错误率也就自然降低。因此，要探究模型深度对模型的影响，应该是在具备相同参数的前
阅读全文
摘要：CNN(Convolutional Neural Network) 卷积神经网络（简称CNN）最早可以追溯到20世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究表明，大脑对外界获取的信息由多层的感受野(Receptive Field)激发完成的。在感受野的基础上，1980年Fukushima提
阅读全文
摘要：模型训练技巧 神经网络模型设计训练流程 图1-1 神经模型设计流程 当我们设计并训练好一个神经网络之后，需要在训练集上进行验证模型效果是否良好。这一步的目的在于判断模型是否存在欠拟合；在确定已经在训练集上拟合的很好，就需要在测试集上进行验证，如果验证结果差就需要重新设计模型；如果效果一般，可能需要增
阅读全文
摘要：反向传播（Back Propagation） 通常在设计好一个神经网络后，参数的数量可能会达到百万级别。而我们利用梯度下降去跟新参数的过程如（1）。但是在计算百万级别的参数时，需要一种有效计算梯度的方法，这种方法就是反向传播（简称BP）， 因此BP并不是一种新的算法，使用BP就是能够使计算梯度时更加
阅读全文
摘要：神经网络简介 典型的深度学习（Deep Learning）模型就是很深层的神经网络模型，因此可以说深度学习就是神经网络的再发展。神经网络最早追溯到1950s提出的感知机，可以算是神经网络发展的第一次高潮；但在1969年，Marvin Minsky和Seymour Papert指出单层的神经网络无法解
阅读全文
摘要：二分类 分类问题是机器学习中非常重要的一个课题。现实生活中有很多实际的二分类场景，如对于借贷问题，我们会根据某个人的收入、存款、职业、年龄等因素进行分析，判断是否进行借贷；对于一封邮件，根据邮件内容判断该邮件是否属于垃圾邮件。 图1-1 分类示意图 回归作为分类的缺陷 由于回归的输出类型是连续性，不
阅读全文
摘要：梯度下降（Gradient descent） 在有监督学习中，我们通常会构造一个损失函数来衡量实际输出和训练标签间的差异。通过不断更新参数，来使损失函数的值尽可能的小。梯度下降就是用来计算如何更新参数使得损失函数的值达到最小值（可能是局部最小或者全局最小）。 梯度下降计算流程 假设我们模型中的参数为
阅读全文
摘要：误差分析 当我们设计并训练好模型之后，就需要在测试集上进行验证。而当模型在测试集上的效果不佳后，我们就需要从模型在测试集上的误差来源进行分析，进而调整模型。而模型在测试集上的误差主要来自两个方面：偏差（bias）和方差（variance）。 偏差（bias）和方差（variance） 若我们设计的模
阅读全文
摘要：回归（Regression） 生活中的很多事物之间是相互影响的，如商品的质量跟用户的满意度密切相关。而回归分析是要分析两个事物间的因果关系，即哪一个是自变量和因变量，以及自变量和因变量之间的关系；回归有着较多的实际应用场景，如分析天气和空气中跟物质含量跟PM2.5浓度的关系，在分析出这一关系后，即可
阅读全文
摘要：机器学习简介 人工智能（Artificial Intelligence简称AI）早在1950s就被提出，AI的目标是希望计算机能够像人一样聪明。但在很长一段时间内，人们并不知道该如何实现AI;在1980s，兴起的机器学习（Machine Learning）方法是实现AI的一个手段。而近期较为热门的深
阅读全文