Jerry_Jin

摘要： 文章内容主要整理自Sinno Jialin Pan and Qiang Yang的论文《A survey on transfer Learning》。 1 迁移学习提出的背景及历史 1.1、迁移学习提出背景 在机器学习、深度学习和数据挖掘的大多数任务中，我们都会假设training和inferenc 阅读全文

摘要： AutoEncoder作为NN里的一类模型，采用无监督学习的方式对高维数据进行高效的特征提取和特征表示，并且在学术界和工业界都大放异彩。本文主要介绍AutoEncoder系列模型框架的演进，旨在梳理AutoEncoder的基本原理。首先上图，然后再对他们进行逐一介绍。AutoEncoder的思想最早被提出来要追溯到1988年[1]，当时的模型由于数据过于稀疏高维计算复杂度高很难优化，没能得到广泛的... 阅读全文

摘要： 经验模式分解(empirical mode decomposition, EMD)方法是Huang提出的,它是一种新的时频分析方法,而且是一种自适应的时频局部化分析方法:①IMF与采样频率相关;②它基于数据本身变化。这点是EMD优于傅立叶变换方法的地方,它摆脱了傅里叶变换的局限性。但EMD比较重要的缺点就是模态混叠,为了更好地解决这一问题,EEMD被Huang提出。 ... 阅读全文

摘要： Photo by Pavel Anoshin on Unsplash Accompanying GitHub repository: https://github.com/BruceMacD/Adversarial-Faces Usage of facial recognition is on th 阅读全文

摘要： 梯度消失与梯度爆炸 梯度为偏导数构成的向量。 损失函数收敛至极小值时，梯度为0（接近0），损失函数不再下降。我们不希望在抵达极小值前，梯度就为0了，也不希望下降过程过于震荡，甚至不收敛。梯度消失与梯度爆炸分别对应这2种现象， 梯度消失(vanishing gradients)：指的是在训练过程中，梯 阅读全文

摘要： 信息熵、交叉熵、KL散度、JS散度、Wasserstein距离交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记... 阅读全文

摘要： 神经网络的前向传播和反向传播公式详细推导 本篇博客是对Michael Nielsen所著的《Neural Network and Deep Learning》第2章内容的解读，有兴趣的朋友可以直接阅读原文Neural Network and Deep Learning。 对神经网络有些了解的人可能都 阅读全文

摘要： 1、什么是 softmax机器学习总归是要接触到 softmax 的，那么这个东东倒底是怎么来的呢？实际上 softmax 可能指两种相似但不相同的东东。1.1. softmax function这函数定义比较符合 softmax 这个名字：可见 softmax function 是从一个输入序列里算出一个值。可见 softmax 确实会返回输入序列中最大的那个值的近似值。softmax 是对真 ... 阅读全文

摘要： 1、However, but, yet, while, whereas 表转折的区别 表示转折关系的并列连词 however: 然而，不过。位置句首、句中，用逗号隔开；语气比but 弱，不直接引出相反意见。用作副词较常见。 I’d like to go with you, however, my h 阅读全文

摘要： 人有悲欢离合，月有阴晴圆缺。中秋佳节，为大家奉上一篇关于目标检测中“阴晴圆缺”不平衡的综述：Imbalance Problems in Object Detection: A Review (https://arxiv.org/abs/1909.00169, under review at TPAMI)，同时也结合自己最近在这方面的 Tech Report: Is Sampling Heurist... 阅读全文