随笔分类 - 深度学习篇-笔记
摘要：1.Caffe Caffe是一个清晰而高效的深度学习框架，也是一个被广泛使用的开源深度学习框架，在Tensorflow出现之前一直是深度学习领域Github star最多的项目。主要优势为：上手容易，网络结构都是以配置文件形式定义，不需要用代码设计网络。训练速度快，组件模块化，可以方便的拓展到新的模
阅读全文
摘要：Policy Gradient 初始学习李宏毅讲的强化学习，听台湾的口音真是费了九牛二虎之力，后来看到有热心博客整理的很细致，于是转载来看，当作笔记留待复习用，原文链接在文末。看完笔记再去听一听李宏毅老师的视频，就可以听懂个大概了。当然了还有莫凡的强化学习更具实战性，听莫凡的课基本上可以带我们入门。
阅读全文
摘要：强化学习(Reinforcement Learning)简介 强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。 它主要包含四个元素，环
阅读全文
摘要：1.什么是迁移学习 迁移学习(Transfer Learning)是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算
阅读全文
摘要：GAN存在问题 训练困难，G和D多次尝试没有稳定性，Loss无法知道能否优化，生成样本单一，改进方案靠暴力尝试 WGAN GAN的Loss函数选择不合适，使模型容易面临梯度消失，梯度不稳定，优化目标不定导致模型失败，WGAN，找到了更为合适的Loss函数，使得梯度呈线性，事实上WGAN对判别器权重进
阅读全文
摘要：在弄清楚InfoGAN之前，可以先理解一下变分推断目的以及在概率论中的应用与ELBO是什么，以及KL散度 https://blog.csdn.net/qy20115549/article/details/93074519 https://blog.csdn.net/qy20115549/articl
阅读全文
摘要：训练方法DCGAN 的训练方法跟GAN 是一样的，分为以下三步： （1）for k steps：训练D 让式子[logD(x) + log(1 - D(G(z)) (G keeps still)]的值达到最大 （2）保持D 不变，训练G 使式子[logD(G(z))]的值达到最大 （3）重复step
阅读全文
摘要：生成对抗网络（GAN）由2个重要的部分构成： 生成器G(Generator)：通过机器生成数据（大部分情况下是图像），目的是“骗过”判别器 判别器D(Discriminator)：判断这张图像是真实的还是机器生成的，目的是找出生成器做的“假数据” 生成对抗网络的工作过程： 第一阶段：固定判别器D，训
阅读全文
摘要：以下叙述只是简单的叙述，CNN+RNN(LSTM,GRU)的应用相关文章还很多，而且研究的方向不仅仅是下文提到的1. CNN 特征提取，用于RNN语句生成图片标注。2. RNN特征提取用于CNN内容分类视频分类。3. CNN特征提取用于对话问答图片问答。还有很多领域，比如根据面目表情判断情感，用于遥
阅读全文
摘要：Word2Vec的主要目的适用于词的特征提取，然后我们就可以用LSTM等神经网络对这些特征进行训练。 由于机器学习无法直接对文本信息进行有效的处理，机器学习只对数字，向量，多维数组敏感，所以在进行文本训练之前还要做一些转化工作，Word2Vec就是担负此重任的有效工具，当然还有其他工具，就不再说明。
阅读全文
摘要：http://www.sohu.com/a/259957763_610300此篇文章绕开了数学公式，对LSTM与GRU采用图文并茂的方式进行说明，尤其是里面的动图，让人一目了然。https://zybuluo.com/hanbingtao/note/581764此篇文章对代码部分给予了充分说明。LS
阅读全文
摘要：循环神经网络(Recurrent Neural Network, RNN)与递归神经网络(Recursive Neural Network, RNN)在简写上是一样的，本次笔记只针对循环神经网络，在此之前先说一下，针对这两个神经网络，有些博客只是从名字上将其分开来了，具体的也没详细介绍，经过大量的中
阅读全文
摘要：目标探测介绍： 直接思路：回归问题 利用神经网络进行目标识别，同样的目标变为坐标值 直接思路：局部识别问题 在很多位置尝试识别，能够完成识别的地方就是目标位置 问题：怎样找到这些候选位置？ 不同scale的sliding windows？ 遍历所有位置 候选区域产生 更有效的方法是什么？ 直接计算候
阅读全文
摘要：目标分类基本框架 1. 数据准备 数据来源--现有数据集的子集；网络采集；现有数据人工标注http://deeplearning.net/datasets/ 数据扩充--https://blog.csdn.net/zhelong3205/article/details/81810743 作用 增加训
阅读全文
摘要：CNN的开山之作是LeCun提出的LeNet-5，而其真正的爆发阶段是2012年AlexNet取得ImageNet比赛的分类任务的冠军，并且分类准确率远远超过利用传统方法实现的分类结果，AlexNet之后，深度学习便一发不可收拾，分类准确率每年都被刷榜，下图展示了模型的变化情况，随着模型的变深，To
阅读全文
摘要：卷积神经网络组成： input--CONV--ReLU--pooling--FC 输入层--卷积层--激活函数--池化层--全连接层 在这里需要指出的是：--卷积层--激活函数--池化层--全连接层，它的组合不唯一，也可以看一下关于卷积神经网络的概括： 由于它们的组合可以作出相应的改变，所以使得卷积
阅读全文
摘要：神经网络-前向传播 为方便起见只画了一个隐藏层的神经网络，图中的x1，x2也可以是向量，数据从输入层传入，在第一个隐藏层需要经过非线性的激活函数f(z)然后得到a1(2),a2(2),在经过激活函数f(z)得到hw,b(x)，具体表示式如下： 当然还可以用矩阵-向量表示，使表达式看起来更简洁 注意：
阅读全文
摘要：传统机器学习与深度学习 尽管深度学习在学习能力上优于传统的机器学习，但是深度学习中仍有机器学习的影子，深度学习的理论是离不开传统的机器学习的。比如线性模型，卷积核，ReLU激活函数，softmax等，这些都应用在深度学习中的神经网络中。下面简单介绍一下传统机器学习与深度学习的对比。 传统机器学习建立
阅读全文
浙公网安备 33010602011771号