摘要：一次epoch是指跑完全部的数据集。 在对模型参数进行更新学习的时候，有三种更新方式，mini-batch （部分增量更新）与 full-batch（全增量更新），以及一次选一个训练。 SGD随机梯度下降法对full-batch GD有了极大速度的提升。但有一个问题就是由于过于自由 导致训练的los
阅读全文
摘要：离散和连续的区别。 本质都是为特征赋予权重，从而让特征的变换和权重组成的表达式可以算出离散/连续的预测值。 比方说房价（p）和面积（s）关系，如果房价是个连续的，那么为面积赋予变换方式（例如p=Θs，p=Θs^2,特征s的一次、二次就是特征的变换）和权重(Θ)，得到p，就是房价。 若房价离散的，那么
阅读全文
摘要：解决过拟合有两个方向： 减少特征，人为选择简单模型； 保留所有特征，但是减少每个特征的权重； 1、simpler model structure 2、regularization 正则化，解决过拟合的一种方法。 http://www.cnblogs.com/jianxinzhou/p/4083921
阅读全文
摘要：Introduction and related work 这是《LearningbothWeightsandConnectionsforEfficient NeuralNetworks》中所有关于缩小时间的描述： 这个3x就是根据应该计算的浮点数得出的，即去掉那些剪掉的权重，余下的权重需要参与的浮点
阅读全文
摘要：欧氏距离即两项间的差是每个变量值差的平方和再平方根，目的是计算其间的整体距离即不相似性。 马氏距离（Mahalanobis distances） 1）马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的两个样本，放入两个不同的总体中，最后计算得
阅读全文
摘要：一 基本概念 方差：（variance）是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。 在统
阅读全文
摘要：LBP根据像素周边8个临近像素的灰度值，和中心灰度值比较，得到一个八位的编码（大于为1，小于为0） 然后根据这样的编码的直方图来做分类 这是最简单的LBP，现在还有很多变种，比如扩大临域范围，更复杂的编码方式等。算是比较流行的feature，因为对光照不敏感。 LBP根据像素周边8个临近像素的灰度值
阅读全文
摘要：度量（metric）的定义： 在数学中，一个度量（或距离函数）是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。 为什么要用度量学习？很多的算法越来越依赖于在输入空间给定的好的度量。例如K-means、K近邻方法、SVM等算法需要给定好的度量来反映数据间存在的一些重要关系。这一问
阅读全文
摘要：这篇paper主要是利用Siamese网络做人脸相似度判别，可以用于人脸识别哦，因为我觉得这篇文献的网络结构图画的比较漂亮，比较容易看懂，所以就用这一篇文章，简单讲解Siamese网络的思想。其网络如下图所示，有两个分支分别输入图片x1、x2（须知：这两个分支其实是相同的，同一个cnn模型，同样的参
阅读全文
摘要：2015,cvpr 的一篇文章。 本篇文章对经典的算法Siamese Networks 做了改进。学习这篇paper的算法，需要熟悉Siamese Networks（经典老文献《Signature Verification Using a Siamese Time Delay Neural Netw
阅读全文
摘要：缘起于寻找caffe如何输入多通道图片（两张四通道图片），希望通过寻找制作lmdb时，遇到的datum，来得到如何设置lmdb的通道。结果发现了siamese网络。 摘抄自caffe github的issue697 Siamese nets are supervised models for met
阅读全文
摘要：只要lmdb文件中是多通道的图片，那么网络就能读取lmdb中多通道图片。（https://github.com/BVLC/caffe/issues/586） 也就是说，接下来我们就能使用python编写生成lmdb的程序了。（http://deepdish.io/2015/04/28/creatin
阅读全文
摘要：参考：http://blog.csdn.net/mrhiuser/article/details/52672824 caffe的卷积过程是im2col和SGEMM（什么是GEMM？http://www.cnblogs.com/mengmengmiaomiao/p/7587005.html）。 一：i
阅读全文
摘要：GEMM就是BLAS中的一个功能，它实现了大矩阵之间相乘。其中必然涉及了如何读取，存储等问题。 参考博客：https://petewarden.com/2015/04/20/why-gemm-is-at-the-heart-of-deep-learning/ 看到这个时间分布图你是不是震惊了！要想提
阅读全文
摘要：Compressed Sparse Row，CSR格式的列下标向量和数据值向量与COO格式（三元组）类似，在行下标表示上做了压缩。根据数据的排列规则，只需要指定在哪个数据换到下一行就行。 把非零数据排成一列，并从0开始建立索引，row_ptr指定在哪个索引位置进行换行。例如，稀疏矩阵的第二行是1，那
阅读全文
摘要：ICLR 2017的文章 题目：faster cnns with direct sparse convolutions and guided pruning ，直接稀疏卷积和指导剪枝 能让cnn变faster？直接稀疏卷积是个什么东西？指导剪枝应该是提出了一种剪枝的方式。 Introduction：
阅读全文
摘要：（1）Feature Pyramid Networks for Object Detection 利用简单设计的多层网络融合策略有效解决多尺度目标定位困难的问题. 其主要考虑利用深度卷积网络固有的多尺度金字塔形层次结构来构建特征金字塔，创建了一个具有横向连接的自顶向下架构用于在所有尺度上构建高级语义
阅读全文
摘要：背景 Mimic作为一种模型小型化的方法，Hinton在 Distilling the Knowledge in a Neural Network一文中已经详细定义并介绍过，但近些年来大部分有关于mimic的论文主要都是局限在较为简单的classification 的任务中，而对于较为复杂一些的de
阅读全文
摘要：论文下载链接：https://arxiv.org/pdf/1704.04861.pdf 看题目：Efficient Convolutional Neural Networks forMobile Vision Applications。首先，efficient，有效率的，难道普通的卷积没有效率吗？难道
阅读全文
浙公网安备 33010602011771号