随笔分类 - 深度学习
摘要：NET-IN-NET 采用net-in-net 结构（不使用传统线性卷积，使用Mlpconv） 采用全局均值池化来提高传统CNN 网络中最后全连接层参数过于复杂的特点。（全连接层造成网络泛化能力差，alexnet中使用dropout 来提高） 网络结构: 4层 net-in-net结构+ 全局均值池
阅读全文
摘要：tensorflow 是强大的分布式跨平台深度学习框架 keras，TensorLayer,Tflearn 都是基于tensorflow 开发的库（提供傻瓜式编程） 知识点： from __future__ import print_function : 为了老版本的python 兼顾新特性 （fr
阅读全文
摘要：alexnet 在 imagenet上夺冠是卷积神经网络如今这么火热的起点。 虽然卷积神经网络很早就被提出来，但是由于计算能力和各方面原因，没有得到关注。 alexnet 为什么能取得这么好的成绩，它的主要归功于 ReLU激活函数(能更快的收敛) LRN 局部响应归一化（ReLU 之后的结果不像ta
阅读全文
摘要：读取数据的三种方法： 1. feeding ： providing data when running each step : classifier.eval(feed_dict={input:my_python_preprocessing_fn() }),当包含变量常量时，最好使用placehol
阅读全文
摘要：多层神经网络的实质就是为了找出更复杂，更内在的features...图像的style, how to describe, impossible! 但是人眼却可以分辨。 （参考论文 A Neural algorithm of artistic style）使用卷积神经网络来做 content， sty
阅读全文
摘要：给定数据点pi(xi,yi)，其中i=1,2,…,m。求近似曲线y= φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi处的偏差δi= φ(xi)-y，i=1,2,...,m。 损失计算： 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 推导： 拟合多项
阅读全文
摘要：分类算法： 决策树： 对每一节点，根据feature进行分类。 选择信息增益最大的feature， 也就是选择将不确定性降低最多的feature。 随机森林： 多个决策树的投票机制来改善决策树，假设有m棵决策树，要有m个一定数量的样本集来训练一棵树(每棵决策树处理一个训练样本子集)，如果用全样本来训
阅读全文
摘要：boosting 算法： 通过改变训练样本的权重，学习多个分类器，并将多个分类器线性组合，提升分类性能。（对于一个复杂任务，将多个专家的判断进行适当的综合得出的判断，要比任一一个单独的判断好） 将弱学习方法boost 为强学习算法。因为弱学习算法相对容易求得。提升算法就是从弱学习算法，出发反复学习，
阅读全文
摘要：现有一系列因变量 x0,x1,x2,⋯,xn，和一系列未知参数 θ ， logistics 函数可以表示为（可能性）： （sigmoid函数） 这个函数最基础的部分： θTX，参数点积自变量。计算某事发生的可能性，将跟事件有关的特征加权求和。 这个求和的结果在，为了能得到一个概率预测值，将结果映射到
阅读全文
摘要：目标函数是最小化损失函数： 损失函数：，损失函数越小，拟合的越好。 风险函数：是损失函数的期望，输入与输出遵循联合分布，但是分布未知。可以用训练集来参考，训练集的平均损失成为经验风险，即,最小化经验风险函数； 结构风险函数： 最小化经验风险函数导致过拟合，这时候就需要结构风险最小化。用一个函数来度量
阅读全文
摘要：深度学习采用神经网络解决线性不可分的问题。既然是深度学习，就是包含多个隐层。 觉得知乎大神说了一段很有意思的话： 1.初恋期。相当于深度学习的输入层。别人吸引你，肯定是有很多因素，比如：身高，身材，脸蛋，学历，性格等等，这些都是输入层的参数，对每个人来说权重可能都不一样。 2.热恋期。我们就让它对应
阅读全文
摘要：caffe中大多数层用C++写成。 但是对于自己数据的输入要写对应的输入层，比如你要去图像中的一部分，不能用LMDB，或者你的label 需要特殊的标记。 这时候就需要用python 写一个输入层。 如在fcn 的voc_layers.py 中 有两个类： VOCSegDataLayer SBDDS
阅读全文
摘要：Dense prediction fully convolutional network for sementic segmentation 先用feature extractor 提特征，然后再使用加入upsample层，得到dense prediction。 这里的‘deconvolution’
阅读全文
摘要：RCNN: 直接使用object proposal 方法得到image crops 送入神经网络中，但是crops 的大小不一样，因此使用 ROI Pooling，这个网络层可以把不同大小的输入映射到一个固定尺度的特征向量，这个ROI pooling 类似普通的pooling， 但是图像大小不固定。
阅读全文
摘要：r egion based RNN Fast RCNN Faster RCNN F-RCN RNN RNN Fast RCNN Fast RCNN Faster RCNN Faster RCNN F-RCN F-RCN Faster RCNN Faster RCNN Faster RCNN the
阅读全文
摘要：1、降维（ dimension reductionality ）。1*1 的卷积核是对每个像素点，在不同的channels 进行线性组合（信息组合），调控depth。比如，一张500 * 500且厚度depth为100 的图片在20个filter上做1*1的卷积，那么结果的大小为500*500*20
阅读全文
摘要：1. 简单列子： 一个损失函数L与参数x的关系表示为： 则 加上L2正则化，新的损失函数L为：（蓝线） 最优点在黄点处，x的绝对值减少了，但依然非零。 如果加上L1正则化，新的损失函数L为：（粉线） 最优点为红点，变为0，L1正则化让参数的最优值变为0，更稀疏。 L1在江湖上人称Lasso，L2人称
阅读全文
摘要：1）data augmentation （augment 增加，aug：to increase 词根，同August（奥古斯特即凯撒大帝，自认为最伟大的帝王，他出生在八月，他以自己的名字命名这个月）同根词有auct, auction(拍卖，不停的增价)， auth，author（使书一段一段长起来，
阅读全文
浙公网安备 33010602011771号