随笔分类 - 4_机器学习书籍及杂（西瓜书、机器学习实战、统计学习方法、百面机器学习等）
摘要：过拟合及常见处理办法整理（总结） 一、总结 一句话总结： I、参数过多：减少层数，减少每层节点个数 II、样本过少：增加样本（获取更多样本，在已有样本上操作来增加样本） III、正则化（regularization）：限制权值 Weight-decay：当网络权值较小时，神经元的激活函数工作在线性区
阅读全文
摘要：categorical_crossentropy和binary_crossentropy的区别 一、总结 一句话总结： A)、见名知意即可，其实从名字上也可以看出来binary=二元，不可以用于多分类任务， B)、简单地说，binary_crossentropy经常搭配sigmoid分类函数，cat
阅读全文
摘要：交叉熵损失函数（作用及公式推导） 一、总结 一句话总结： $$C = - \frac { 1 } { n } \sum _ { x } [ y \ln a + ( 1 - y ) \ln ( 1 - a ) ]$$ 1、平方差损失函数的不足？ 使用平方差损失函数训练ANN，看到的实际效果是，如果误差
阅读全文
摘要：交叉熵损失函数小结 一、总结 一句话总结： 交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。 1、交叉熵损失函数和平方差损失函数的区别？ [①]、平方差所惩罚的是与损失为同一数量级的情形 [②]、分类问题用交叉熵损失函数，因为分类问题是概率：对于分
阅读全文
摘要：200820_机器学习 1、基础知识 一、总结 一句话总结： 一定要录课，不录课==没学 1、机器学习的两个驱动？ 神经网络，数据挖掘 2、强化学习？ 介于监督和无监督之间，当答案不正确时，算法被告知，如何改正则不得而知，算法需要去探索，试验不同情况，直到得到正确答案，强化学习有时称为伴随评论家的学
阅读全文
摘要：机器学习常见知识点（总结） 一、总结 一句话总结： 目录结构（知识结构）清晰了，添枝加叶就非常非常简单了 二、机器学习常见知识点（总结） 转自或参考：一文总结机器学习常见知识点https://zhuanlan.zhihu.com/p/85508001 一、准备 机器学习是什么，人工智能的子类，深度学
阅读全文
摘要：机器学习目录 一、总结 一句话总结： A、数据量够的话，深度学习是可以做几乎所有事情的 B、其它的算法比如支持向量机，还有最开始的那些，比如决策树，比如什么k-means什么的 模型的评估与选择：来选择模型依据线性模型：决策树：神经网络：支持向量机：贝叶斯分类：集成学习：聚类：降维与度量学习：特征选
阅读全文
摘要：机器学习理论|频率派和贝叶斯派对比 一、总结 一句话总结： (A)、对于一些问题，比如类似从盒子中抽取小球的经典问题，我们可以通过多次实验的方式来计算频率，并进而估算概率，这种思想是典型的Frequentist的思想； (B)、而对于另一些问题，如南极大陆在本世纪末完全融化的可能性，这类事件其不可能
阅读全文
摘要：机器学习中正则化项L1和L2的直观理解 一、总结 一句话总结： l1正则化：$$\operatorname { cost } = ( Wx - \text { real } y ) ^ { 2 } + \text { abs } ( W )$$ l2正则化：$$\operatorname { cos
阅读全文
摘要：迁移学习 (Transfer Learning)是什么（总结） 一、总结 一句话总结： 【踩在巨人的肩膀上】：迁移学习就是一层层网络中每个节点的权重从一个训练好的网络迁移到一个全新的网络里，而不是从头开始，为每特定的个任务训练一个神经网络。 举图像识别中最常见的例子，训练一个神经网络。来识别不同的品
阅读全文
摘要：深度学习: 参数初始化 一、总结 一句话总结： 1)、好的开始是成功的一半，为了让你的模型跑赢在起跑线 ，请慎重对待参数初始化。 2)、tf的初始化器包括：tf.initializers.he_normal()、tf.initializers.truncated_normal()、tf.contri
阅读全文
摘要：200812_深度学习系列 1、感知器（神经元） 一、总结 一句话总结： 神经元也叫做感知器：神经元是神经网络的基本组成单元 1、神经网络中的输入层、输出层和隐藏层？ 最左边的层叫做输入层，这层负责接收输入数据；最右边的层叫输出层，我们可以从这层获取神经网络输出数据。输入层和输出层之间的层叫做隐藏层
阅读全文
摘要：200812_深度学习系列 3、神经网络和反向传播算法（没完） 一、总结 一句话总结： 神经网络的实现很简单，原理的实现就是矩阵相乘，就是前向传播和反向传播 1、前向传播和反向传播？ 前向传播：就是函数套函数计算y，简单的很 反向传播：就是很简单的链式法则 2、什么是向量化编程？ 就是计算用向量来计
阅读全文
摘要：200812_深度学习系列 2、线性单元和梯度下降 一、总结 一句话总结： 线性单元感知器，知识激活函数变了，其它代码都一样 from perceptron import Perceptron #定义激活函数f f = lambda x: x class LinearUnit(Perceptron)
阅读全文
摘要：GAN对抗神经网络（原理解析） 一、总结 一句话总结： (一)、GAN的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是 (二)、**通过生成网络G（Generator）和判别网络D（Discriminator）不断博弈，进而使G学习到数据的分布**， (三)、如果用到图片生
阅读全文
摘要：深度学习中 Batch Normalization是什么 一、总结 一句话总结： batch normalization嘛，就是“批规范化”咯,即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1. 1、什么时候用ba
阅读全文
摘要：对于梯度消失和梯度爆炸的理解 一、总结 一句话总结： 梯度消失或者梯度爆炸，简单一点来讲就是层数太多，链式求梯度的时候连乘太多 1、循环神经网络梯度消失或者梯度爆炸说明？ (1)、$$W ^ { t } = ( V \operatorname { diag } ( \lambda ) V ^ { -
阅读全文
摘要：梯度消失和梯度爆炸原因及其解决方案 一、总结 一句话总结： A)、当神经元层数变多时，链式法则求梯度会遇到很多个连乘，连乘多了，如果大了，梯度就爆炸了，如果小了，梯度就消失了 B)、我们知道Sigmoid函数有一个缺点：当x较大或较小时，导数接近0；并且Sigmoid函数导数的最大值是0.25 C)
阅读全文
摘要：深度学习之循环神经网络（RNN） 一、总结 一句话总结： (A)、【短期记忆】：循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络，适合用于处理视频、语音、文本等与时序相关的问题。 (B)、【接收自身信息】：在循环神经网络中，神经元不但可以接收其
阅读全文
摘要：循环神经网络（Recurrent Neural Networks）（第一部分） 一、总结 一句话总结： ①、RNN是一种可以预测未来（在某种程度上）的神经网络，可以用来分析时间序列数据（比如分析股价，预测买入点和卖出点）。 ②、在自动驾驶中，可以预测路线来避免事故。更一般的，它可以任意序列长度作为输
阅读全文
浙公网安备 33010602011771号