随笔分类 - 机器学习
摘要：2019-08-29 17:17:15 问题描述：比较RNN，GRU，LSTM。 问题求解： 循环神经网络 RNN 传统的RNN是维护了一个隐变量 ht 用来保存序列信息，ht 基于 xt 和 ht-1 来计算 ht 。 ht = g( Wi xt + Ui ht-1 + bi ) yt = g(
阅读全文
摘要：2019-08-27 15:42:00 问题描述：循环神经网路为什么会出现梯度消失或者梯度爆炸的问题，有哪些改进方案。 问题求解： 循环神经网络模型的求解可以采用BPTT（Back Propagation Through Time，基于时间的反向传播）算法实现，BPTT实际上是反向传播算法的简单变种
阅读全文
摘要：2019-08-27 11:45:21 问题描述：在模型评估过程中，过拟合和欠拟合具体是指什么现象，如何解决。 问题求解： 过拟合是指模型对于训练的数据集拟合呈现过当的情况，反应到评估指标上就是模型在训练集上的表现很好，但是在测试集和新数据上的表现较差。 欠拟合是指模型对于训练和预测时的表现都不好。
阅读全文
摘要：2019-08-27 11:01:52 问题描述：对于二分类问题，如果在训练的时候正负样本集合非常的不均衡，比如出现了1 ：1000甚至更大的比例悬殊，那么如何处理数据以更好的训练模型。 问题求解： 为什么很多的分类模型在训练数据的时候会出现数据不均衡的问题呢？本质原因是模型在训练时优化的目标函数和
阅读全文
摘要：2019-08-26 17:19:58 1）聊实习项目 2）代码题，二维数组中的查找某个target 3）讲一些最能体现创新能力的工作，而不是一些工程上的实现 4）讲论文可以从哪些方面做创新点，文本生成的结果怎么排序 5）部门是做任务型聊天机器人的 第一个开始面试的公司，一开始没找内推，被互娱的组捞
阅读全文
摘要：awk awk取自三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的姓名首字符，是一种处理文本文件的语言。 -F：分隔符。 其中的$1..$n表示第几例。注：$0表示整个行。 单引号中的被大括号括着的就是awk的语句，注意，其只能被单引号包含
阅读全文
摘要：2019-05-29 20:56:02 一、Inception V1 当不知道在卷积神经网络中该使用1 * 1卷积还是3 * 3的卷积还是5 * 5的卷积或者是否需要进行pooling操作的时候，我们就可以通过inception模块来将所有的操作都做一遍，然后将得到的结果直接concat到一起，由神
阅读全文
摘要：2019-04-09 18:38:38 mAP：mean average precision，均值平均精度，是目标检测领域的常用的评估模型好坏的标准。 本文将着重介绍这个标准的计算方式。 一、PR曲线 Precision，Recall和PR曲线都是应用在二分类的模型中，对模型的表现进行评价的指标，其
阅读全文
摘要：2019-04-08 13:30:58 VGG模型是2014年ILSVRC竞赛的第二名，第一名是GoogLeNet。但是VGG模型在多个迁移学习任务中的表现要优于googLeNet。而且，从图像中提取CNN特征，VGG模型是首选算法。它的缺点在于，参数量有140M之多，需要更大的存储空间。但是这个模
阅读全文
摘要：2019-04-08 13:25:17 在实践中，很少有人从头开始训练整个卷积网络（随机初始化），因为拥有足够大小的数据集是相对罕见的。相反，通常在非常大的数据集（例如ImageNet，其包含具有1000个类别的120万个图像）上预先训练ConvNet，然后使用预训练好的ConvNet作为感兴趣的任
阅读全文
摘要：2018-12-09 22:18:43 假设费用函数 L 与某个参数 x 的关系如图所示： 则最优的 x 在绿点处，x 非零。 现在施加 L2 regularization，新的费用函数（）如图中蓝线所示： 最优的 x 在黄点处，x 的绝对值减小了，但依然非零。 而如果施加 L1 regulariz
阅读全文
摘要：2018-12-09 19:39:38 一、1 * 1卷积 pooling可以对feature map的height，width进行修改，但是对通道数目无法修改。 1 * 1卷积可以在不改变图像大小的前提下修改通道数目。并且如果使用多个1 * 1卷积可以起到类似FC的功能，因此1 * 1卷积也被称为
阅读全文
摘要：2018-12-09 19:07:29 深层的深度学习网络存在梯度消失和梯度爆炸等问题导致难以进行训练。 ResNet提出了Skip-Connection来将某一层的输入直接传递到更深的层，通过这种方式可以训练得到更深的神经网络。 为什么这个是有效的呢？ 理论上，更深的模型的训练误差不应当大于浅层模
阅读全文
摘要：2018-12-07 16:54:28 全连接神经网络之所以不太适合图像识别任务，主要有以下几个方面的问题： 参数数量太多 考虑一个输入1000*1000像素的图片(一百万像素，现在已经不能算大图了)，输入层有1000*1000=100万节点。假设第一个隐藏层有100个节点(这个数量并不多)，那么仅
阅读全文
摘要：2018-12-07 14:41:57 一、SGD 和 BGD BGD：又称Vanilla梯度下降法，用运行整个训练集（一个epoch）来做一次更新。 SGD：运行一个或者几个batch（Minibatch Stochastic gradient Descent）时来更新一次更新。 BGD： SGD
阅读全文
摘要：2018-12-06 17:05:27 这里以二分类举例，首先引入混淆矩阵的概念： 混淆矩阵是一个2×2的方阵，用于展示分类器预测的结果——真正（true positive），假负（false negative）、假正（false positive）及假负（false negative） 下面介绍一
阅读全文
摘要：2018-12-06 16:25:08 首先我们先来看一下求解梯度的公式，以下面三层的网络为例： 如果w初始化为大于1的数字，在深层神经网络计算梯度的时候就会出现梯度爆炸的现象； 如果w初始化为小于1的数字，在深层神经网络计算梯度的时候就会出现梯度消失的现象； 那么该如何初始化权重值呢? 我们希望的
阅读全文
摘要：2018-12-06 15:01:54 Dropout：临时的抹去随机的神经元及其进行的关联计算。如下图所示 : Dropout的实现：Inverted Dropout 训练：假设每个神经元以keep_prop的概率被保留 预测：keep_prop设置为1，也就是不使用drop_out Dropou
阅读全文
摘要：2018-12-05 21:12:15 一、滑动窗口目标检测 首先通过卷积神经网络训练一个分类器，然后使用不同尺度的窗口去裁剪输入图片进行分类。我们期望的结果是通过不同的窗口可以将需要检测的物体完全覆盖到，此时分类器输出的置信值会大于阈值，这个时候我们就认为已经成功检测到一个物体，并且得到了其位置信
阅读全文
浙公网安备 33010602011771号