随笔分类 - Deep learning
摘要：(a) 求解预测词向量 Vc的所对应的梯度。 Answer: 在Q2的(b)中，我们已经得到了softmax关于输入向量的梯度=y_hat y 所以本题的结果为 其中U=[μ1,μ2,…,μW]是全体输出向量形成的矩阵 即 (b) 求解输出词向量μw的梯度（包括μo在内） Answer: 类似于上题
阅读全文
摘要：(a) 推导sigmoid的导数公式 y = 1/(1+exp( x)) Answer： y' = y (1 y) sigmoid的导数形式是十分简洁的，这也是sigmoid函数使用广泛的一个原因。 (b) 当使用交叉熵作为loss function时，推导其梯度公式，输入的y是一个one hot向
阅读全文
摘要：(a) theory 证明对于任意输入向量x和常数c，softmax的输出不会随着c的改变而改变，即softmax(x) = softmax(x+c) note：在实际使用中，经常利用这个性质，将每个元素x减去最大的那个元素，即最大值为0. 证明：利用softmax的公式分别将两边展开计算即可。 (
阅读全文
摘要：LeakyReLU Random Noise Discriminator Architecture: Fully connected layer with input size 784 and output size 256 LeakyReLU with alpha 0.01 Fully conne
阅读全文
摘要：""Image Style Transfer Using Convolutional Neural Networks" (Gatys et al., CVPR 2015)" . 复现这一篇论文中的代码 loss由三部分组成，内容loss，风格loss，正则化loss，其中风格loss使用gram矩阵
阅读全文
摘要：Saliency Maps 一张saliency map告诉了我们在图片中的每个像素点对于这张图片最后的预测得分的影响程度。为了计算它，我们要计算正确的那个类的未归一化的打分对于图片中每个像素点的梯度。如果图片的尺寸是(H,W,3),那么梯度的尺寸也应该是(H,W,3);对于图片中的每个像素点,梯度
阅读全文
摘要：跟作业1很类似，区别只是在于每个单元的公式不一样 前向过程 next_h error: 5.7054131967097955e 09 next_c error: 5.8143123088804145e 09 后向过程 dx error: 6.335163002532046e 10 dh error:
阅读全文
摘要：来到最后一个作业，前两个作业仍然是使用numpy来实现一个rnn/lstm网络，后边三个作业则用到了tensorflow/pytorch，目前只用了tensorflow来完成，以后或许会把pytorch的也完成了。 前言 第一个任务是使用rnn来完成图像标注的任务。image caption是rnn
阅读全文
摘要：Part I: Preparation 略 Part II：Barebone TensorFlow 首先实现一个flatten函数： 完成一个两层的全连接网络并测试： 完成一个3层的卷积网络并测试： 网络结构如下： 1. A convolutional layer (with bias) with
阅读全文
摘要：终于来到了卷积网络 首先完成最基本的前向传播: Testing conv_forward_naive difference: 2.2121476417505994e 08 一个有趣的测试，通过我们实现的卷积层处理图片，得到其边缘信息。 完成基本的后向传播： Testing conv_backward
阅读全文
摘要：Dropout see "Geoffrey E. Hinton et al, "Improving neural networks by preventing co adaptation of feature detectors", arXiv 2012" 完成前向传播 def dropout_fo
阅读全文
摘要：有句话叫“懂得了很多道理，依然过不好这一生。”用在这道题里很合适“懂得了每个过程的原理，依然写不好这代码。” 但抄完之后还是颇有收获的。 1、完成放射变换前向传播，f = wx + b Testing affine_forward function: difference: 9.7698494681
阅读全文
摘要：batch normlization see [Sergey Ioffe and Christian Szegedy, "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Sh
阅读全文
摘要：这个作业是讨论对图像像素进行进一步计算得到的特征来训练线性分类器是否可以提高性能。 对于每张图，我们会计算梯度方向直方图(HOG)特征和用HSV（Hue色调，Saturation饱和度,Value明度）颜色空间的色调特征。把每张图的梯度方向直方图和颜色直方图特征合并形成我们最后的特征向量。 HOG大
阅读全文
摘要：网络设置： 两层的神经网络，第一层激活函数为Relu，第二层用softmax输出分类概率。使用随机梯度下降来训练。 neural_net.py from __future__ import print_function import numpy as np import matplotlib.pyp
阅读全文
摘要：Softmax简介： Softmax分类器也叫多项Logistic回归（Multinomial Logistic Regression）。 对公式的理解：首先将一个负数x通过指数变成整数，求它的概率分布也就是每部分除以总和。 损失函数 即交叉熵损失函数(cross entroy) softmax.p
阅读全文
摘要：SVM介绍 linear_svm.py linear_classifier.py 使用随机梯度下降来训练 from __future__ import print_function import numpy as np from cs231n.classifiers.linear_svm impor
阅读全文
摘要：说来惭愧，这应该是很早以前就完成的任务了，但第一次做非常不认真，这次重刷一遍，记录如下。 knn还是很熟悉的，毕竟本科毕设就用过，但用numpy实现还是有些难度的。 knn部分 cross validation部分： Note 1. x.shape 没有括号 2. axis的用法 通过指定不同的ax
阅读全文
浙公网安备 33010602011771号