02 2020 档案
摘要：参考《ML Lecture 7: Backpropagation》： 假设一个比较简单的网络结构如下： 我们取其中一部分做详细的分析： 对于一个输入 ${x_1, x_2}$，它能计算出对应的 loss $C(x;\theta)$，我们如果想要更新参数 $\theta = \{w_1, w_2, \
阅读全文
摘要：VGG 主要有两种结构，分别是 VGG16 和 VGG19，两者并没有本质上的区别，只是网络深度不一样。 对于给定的感受野，采用堆积的小卷积核是优于采用大的卷积核的，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。 比如，三个步长为 $1$ 的 $3 \time
阅读全文
摘要：关于该类： torch.nn.Linear(in_features, out_features, bias=True) 可以对输入数据进行线性变换： $y = x A^T + b$ in_features: 输入数据的大小。 out_features: 输出数据的大小。 bias: 是否添加一个可学
阅读全文
摘要：先看函数参数： torch.flatten(input, start_dim=0, end_dim=-1) input: 一个 tensor，即要被“推平”的 tensor。 start_dim: “推平”的起始维度。 end_dim: “推平”的结束维度。 首先如果按照 start_dim 和 e
阅读全文
摘要：先看一下CLASS有哪些参数： torch.nn.Conv2d( in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros' )
阅读全文
摘要：参考自《Pytorch autograd,backward详解》： 1 Tensor Pytorch中所有的计算其实都可以回归到Tensor上，所以有必要重新认识一下Tensor。 如果我们需要计算某个Tensor的导数，那么我们需要设置其.requires_grad属性为True。为方便说明，在本
阅读全文
摘要：先看一下它的参数： norm(p='fro', dim=None, keepdim=False, dtype=None) p: the order of norm. 一般来说指定 $p = 1, 2$ 等值表示 $(\sum_{i} \left | x_i \right |^{p})^{(1/p)}
阅读全文
摘要：这篇笔记基于上一篇《关于GAN的一些笔记》。 1 GAN的缺陷 由于 $P_G$ 和 $P_{data}$ 它们实际上是 high-dim space 中的 low-dim manifold，因此 $P_G$ 和 $P_{data}$ 之间几乎是没有重叠的 正如我们之前说的，如果两个分布 $P,Q$
阅读全文
摘要：目录 1 Divergence 1.1 Kullback–Leibler divergence 1.2 Jensen–Shannon divergence 1.3 Wasserstein distance 2 GAN 2.1 Theory 2.2 Algorithm Objective functi
阅读全文
摘要：《No-Reference Image Quality Assessment in the Spatial Domain》，BRISQUE。 1. 广义高斯分布，generalized Gaussian distribution，GGD 1.1 描述 零均值的广义高斯分布如下： 其中 而 Γ(·)
阅读全文