随笔分类 -  Deep Learning

深度人脸识别综述
摘要：[TOC] Introduction 人脸识别系统通常由以下构建模块组成： 人脸检测 。人脸检测器用于寻找图像中人脸的位置，如果有人脸，就返回包含每张人脸的边界框的坐标。如图 3a 所示。 人脸对齐 。人脸对齐的目标是使用一组位于图像中固定位置的参考点来缩放和裁剪人脸图像。这个过程通常需要使用一个特 阅读全文
posted @ 2019-03-15 16:11 天涯惟笑 阅读(2563) 评论(0) 推荐(0)
【Deep Hash】NINH
摘要："CVPR 2015] Simultaneous Feature Learning and Hash Coding with Deep Neural Networks [[paper" ] Hanjiang Lai, Yan Pan, Ye Liu, Shuicheng Yan. 1. Overco 阅读全文
posted @ 2018-12-10 15:15 天涯惟笑 阅读(1415) 评论(0) 推荐(0)
【Deep Hash】CNNH
摘要："AAAI 2014] Supervised Hashing via Image Representation Learning [[paper]" "[code]" Rongkai Xia , Yan Pan, Hanjiang Lai, Cong Liu, Shuicheng Yan. 1. O 阅读全文
posted @ 2018-12-10 15:12 天涯惟笑 阅读(2237) 评论(1) 推荐(0)
MCMC等采样算法
摘要：一、直接采样 直接采样的思想是，通过对均匀分布采样，实现对任意分布的采样。因为均匀分布采样好猜，我们想要的分布采样不好采，那就采取一定的策略通过简单采取求复杂采样。 假设y服从某项分布p(y)，其累积分布函数CDF为h(y)，有样本z~Uniform(0,1)，我们令 z = h(y)，即 y = 阅读全文
posted @ 2018-11-15 13:05 天涯惟笑 阅读(3603) 评论(0) 推荐(0)
循环神经网络
摘要：一、问题分析 1. 传统神经网络在处理序列输入时存在的问题 在不同的示例中，输入和输出可能具有不同的维度。 无法在不同的文本位置共享所学到的特征信息。 2. 循环神经网络存在的问题 RNN使用先前的信息以及现在的输入来得到输出，但是输出不仅仅只跟前面的信息有关，可能还会和后面的信息有关。因此没有利用 阅读全文
posted @ 2018-07-27 16:57 天涯惟笑 阅读(491) 评论(1) 推荐(0)
Zero-shot learning（零样本学习）
摘要：一、介绍 在传统的分类模型中，为了解决多分类问题（例如三个类别：猫、狗和猪），就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别（例如牛），这个模型便无法将牛识别出来，而ZSL就是为了解决这种问题。在ZSL中，某一 阅读全文
posted @ 2018-07-07 15:37 天涯惟笑 阅读(23965) 评论(1) 推荐(1)
ResNet笔记
摘要：参考： "Deep Learning TensorFlow (14) CNN卷积神经网络_深度残差网络 ResNet" 先前的研究已经证明，拥有至少一个隐层的神经网络是一个 通用的近似器 ，只要提高网络的深度，可以近似任何连续函数。因此，理想情况下，只要网络不过拟合，深度神经网络应该是越深越好。但是 阅读全文
posted @ 2018-04-13 20:57 天涯惟笑 阅读(551) 评论(0) 推荐(0)
论文《Network in Network》笔记
摘要：论文：Lin M, Chen Q, Yan S. "Network In Network" [J]. Computer Science, 2013. 参考： "关于CNN中1×1卷积核和Network in Network的理解" 参考： "深度学习（二十六）Network In Network学习 阅读全文
posted @ 2018-04-13 20:54 天涯惟笑 阅读(1939) 评论(0) 推荐(1)
【DL.AI】《Structuring Machine Learning Projects》笔记
摘要：一、改进模型的几个方法 Collect more data Collect more diverse training set Train algorithm longer with gradient descent Try Adam instead of gradient descent Try 阅读全文
posted @ 2018-04-06 21:42 天涯惟笑 阅读(327) 评论(0) 推荐(0)
【CS231N】7、卷积神经网络
摘要：一、疑问 1. assignments2 在代码文件 FullyConnectedNets.ipynd 中，有代码如下： 此处用 np.prod 和 np.linspace 等一系列函数初始化权重w和x，与之前直接用 np.random 等函数想比略显复杂，如此初始化的好处是什么？ A： 在这个代码 阅读全文
posted @ 2018-04-03 11:47 天涯惟笑 阅读(544) 评论(0) 推荐(0)
【CS231N】5、神经网络静态部分：数据预处理等
摘要：一、疑问 二、知识点 1. 白化 ​ 白化操作的输入是特征基准上的数据，然后对每个维度除以其特征值来对数值范围进行归一化。该变换的几何解释是：如果数据服从多变量的高斯分布，那么经过白化后，数据的分布将会是一个均值为零，且协方差相等的矩阵。该操作的代码如下： ​ 警告：夸大的噪声。注意分母中添加了1e 阅读全文
posted @ 2018-04-03 11:46 天涯惟笑 阅读(322) 评论(0) 推荐(0)
【CS231N】6、神经网络动态部分：损失函数等
摘要：一、疑问 二、知识点 1. 损失函数可视化 ​ 损失函数一般都是定义在高维度的空间中，这样要将其可视化就很困难。然而办法还是有的，在1个维度或者2个维度的方向上对高维空间进行切片，例如，随机生成一个权重矩阵 ，该矩阵就与高维空间中的一个点对应。然后沿着某个维度方向前进的同时记录损失函数值的变化。换句 阅读全文
posted @ 2018-04-03 11:46 天涯惟笑 阅读(1440) 评论(0) 推荐(0)
【CS231N】4、神经网络
摘要：一、疑问 二、常用激活函数 1. Sigmoid ​ sigmoid将输入实数值“挤压”到0到1范围内。更具体地说，很大的负数变成0，很大的正数变成1。它对于神经元的激活频率有良好的解释：从完全不激活到在求和后的最大频率处的完全饱和（ saturated ）的激活。然而现在sigmoid函数实际很少 阅读全文
posted @ 2018-04-03 11:45 天涯惟笑 阅读(329) 评论(0) 推荐(0)
【CS231N】3、Softmax分类器
摘要：wiki百科：softmax函数的本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。 一、疑问 二、知识点 1. softmax函数公式的意义 ​ 在softmax函数，输入向量z的值有正有负，正数表示对应的特征对分类结果是积极的，负数 阅读全文
posted @ 2018-04-03 11:45 天涯惟笑 阅读(2034) 评论(0) 推荐(0)
【CS231N】2、多类SVM
摘要：一、疑问 1. assignments1 linear_svm.py文件的函数 svm_loss_naive中，使用循环的方式实现梯度计算 linear_svm.py文件的函数 svm_loss_vectorized中，梯度的向量化实现 SVM的损失函数在某个数据点上的计算： 对函数进行微分，比如对 阅读全文
posted @ 2018-04-03 11:44 天涯惟笑 阅读(432) 评论(0) 推荐(1)
【CS231N】1、图像分类
摘要：一、知识点 1. 计算机识别物体面临的困难 视角变化（Viewpoint variation） ：同一个物体，摄像机可以从多个角度来展现。 大小变化（Scale variation） ：物体可视的大小通常是会变化的（不仅是在图片中，在真实世界中大小也是变化的）。 形变（Deformation） ：很 阅读全文
posted @ 2018-04-03 11:43 天涯惟笑 阅读(464) 评论(0) 推荐(0)