一只小白白

摘要： 一个栗子 数据：工资和房屋面积（2个特征） 目标：预测银行会贷款给我多少钱（标签） 考虑：工资和房屋面积都会影响最终银行贷款的 结果那么它们各自有多大的影响呢？（参数） 通俗解释X1,X2就是我们的两个特征（年龄，房屋面积）Y是银行最终会借给我们多少钱找到最合适的一条线（想象一个高维）来最好的拟合我 阅读全文

摘要： 递归神经网络（RNN）对于自然语言处理和其他序列任务非常有效，因为它们具有“记忆”功能。 它们可以一次读取一个输入x⟨t⟩（如单词），并且通过隐藏层激活从一个时间步传递到下一个时间步来记住一些信息/上下文，这允许单向RNN从过去获取信息来处理后面的输入，双向RNN可以从过去和未来中获取上下文。 有些 阅读全文

摘要： 我们初学的算法一般都是从SGD入门的，参数更新是： 它的梯度路线为： 但是可以看出它的上下波动很大，收敛的速度很慢。因此根据这些原因，有人提出了Momentum优化算法，这个是基于SGD的，简单理解，就是为了防止波动，取前几次波动的平均值当做这次的W。这个就用到理论的计算梯度的指数加权平均数，引进超 阅读全文

摘要： 1. 什么是指数加权平均 指数加权平均(exponentially weighted averges)，也叫指数加权移动平均，是一种常用的序列数据处理方式。 它的计算公式如下： 其中， θ_t：为第 t 天的实际观察值， V_t: 是要代替 θ_t 的估计值，也就是第 t 天的指数加权平均值， β： 阅读全文

摘要： 1、前言 当我们谈起计算机视觉时，首先想到的就是图像分类，没错，图像分类是计算机视觉最基本的任务之一，但是在图像分类的基础上，还有更复杂和有意思的任务，如目标检测，物体定位，图像分割等，见图1所示。其中目标检测是一件比较实际的且具有挑战性的计算机视觉任务，其可以看成图像分类与定位的结合，给定一张图片 阅读全文

摘要： 前言 VGGNet是牛津大学计算机视觉组（VisualGeometry Group）和GoogleDeepMind公司的研究员一起研发的的深度卷积神经网络。VGGNet探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，VGGNet成功地构筑了16~19层 阅读全文

摘要： 一、概括： L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。 二、区别： 1.L1是模型各个参数的绝对值之和。 L2是模型各个参数的平方和的开方值。 2.L1会趋向于产生少量的特征，而其他的特征都是0. 因为最优的参数值很大概率出现在坐标轴上，这样就会 阅读全文

摘要： Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batch No 阅读全文

摘要： 传统的基于CNN的人脸识别方法为： 1. 利用CNN的siamese网络来提取人脸特征 2. 然后利用SVM等方法进行分类 facnet亮点 1. 利用DNN直接学习到从原始图片到欧氏距离空间的映射，从而使得在欧式空间里的距离的度量直接关联着人脸相似度； 2. 引入triplet损失函数，使得模型的 阅读全文

摘要： 交叉熵损失是分类任务中的常用损失函数，但是是否注意到二分类与多分类情况下的交叉熵形式上的不同呢？ 两种形式 这两个都是交叉熵损失函数，但是看起来长的却有天壤之别。为什么同是交叉熵损失函数，长的却不一样？ 因为这两个交叉熵损失函数对应不同的最后一层的输出：第一个对应的最后一层是softmax，第二个对 阅读全文