_yanghh - 博客园

2020年12月4日

摘要：这个神经网络主要是针对图像的。图像卷积信号卷积本质上就是：$t$ 时刻的系统输出应该为 $t$ 时刻之前冲击信号在 $t$ 时刻响应的叠加。如果不懂可先去阅读博客：信号卷积。信号卷积的离散形式定义为 $$(f*g)(t) = \sum_{\tau = -\infty}^{+\infty}f(\ 阅读全文

posted @ 2020-12-04 16:53 _yanghh 阅读(637) 评论(0) 推荐(0)

2020年12月3日

OpenCV 图片和视频基本操作

摘要：这个主要是查 $API$，不涉及原理，如果用到新的功能，则更新此博客。 import cv2 img = cv2.imread('1.jpg') shape = img.shape # 返回图片的高度、宽度、深度组成的 tuple，高度和宽度指的是像素点个数 size = img.size # 获取阅读全文

posted @ 2020-12-03 19:30 _yanghh 阅读(228) 评论(0) 推荐(0)

2020年12月2日

Dataset 和 DataLoader 详解

摘要： Dataset 是 PyTorch 中用来表示数据集的一个抽象类，我们的数据集可以用这个类来表示，至少需要覆写下面两个方法： 1）__len__：一般用来返回数据集大小。 2）__getitem__：实现这个方法后，可以通过下标的方式 dataset[i] 的来取得第 $i$ 个数据。 DataLo 阅读全文

posted @ 2020-12-02 16:46 _yanghh 阅读(4724) 评论(0) 推荐(1)

2020年12月1日

KL 散度和交叉熵

摘要：相对熵（relative entropy）就是 KL 散度（Kullback–Leibler divergence），用于衡量两个概率分布之间的差异。举个例子：假设我们发现了一些太空蠕虫，这些太空蠕虫的牙齿数量各不相同。现在我们需要将这些信息发回地球。但从太空向地球发送信息的成本很高，所以我们需阅读全文

posted @ 2020-12-01 10:53 _yanghh 阅读(709) 评论(0) 推荐(0)

2020年11月30日

指数加权移动平均

摘要：加权移动平均法：是对观察值分别给予不同的权数，按不同权数求得移动平均值，并以最后的移动平均值为基础，确定预测值的方法。采用加权移动平均法，是因为观察期的近期观察值对预测值有较大影响，它更能反映近期变化的趋势。指数移动加权平均法：是指各数值的加权系数随时间呈指数式递减，越靠近当前时刻的数值加权系数阅读全文

posted @ 2020-11-30 16:07 _yanghh 阅读(2045) 评论(0) 推荐(0)

基于动量(momentum)的梯度下降法

摘要：批梯度下降： 1）采用所有数据来梯度下降，在样本量很大的时，学习速度较慢，因为处理完全部数据，我们仅执行了一次参数的更新。 2）在学习过程中，我们会陷入损失函数的局部最小值，而永远无法达到神经网络获得最佳结果的全局最优值。这是因为我们计算的梯度大致相同。所以，我们实际上需要的是一些嘈杂的渐变。方向阅读全文

posted @ 2020-11-30 14:20 _yanghh 阅读(3444) 评论(0) 推荐(0)

Pytorch 之损失函数

摘要： 1. torch.nn.MSELoss 均方损失函数，一般损失函数都是计算一个 batch 数据总的损失，而不是计算单个样本的损失。 $$L = (x - y)^{2}$$ 这里 $L, x, y$ 的维度是一样的，可以是向量或者矩阵(有多个样本组合)，这里的平方是针对 Tensor 的每个元素，即阅读全文

posted @ 2020-11-30 09:58 _yanghh 阅读(1634) 评论(0) 推荐(0)

Pytorch 之优化器

摘要：在 pytorch 中提供了 torch.optim 方法优化我们的神经网络，torch.optim 是实现各种优化算法的包。 1. torch.optim.SGD 这个优化器实现的是实现随机梯度下降算法。 SGD 是最基础的优化方法，普通的梯度下降法, 需要重复不断的把整套数据放入神经网络 NN 阅读全文

posted @ 2020-11-30 09:44 _yanghh 阅读(487) 评论(0) 推荐(0)

2020年11月29日

Pytorch 之激活函数

摘要： 1. Sigmod 函数 Sigmoid 函数是应用最广泛的非线性激活函数之一，它可以将值转换为 $0$ 和 $1$ 之间，如果原来的输出具有这样的特点：值越大，归为某类的可能性越大，那么经过 Sigmod 函数处理的输出就可以代表属于某一类别的概率。其数学表达式为： $$y = \frac{1} 阅读全文

posted @ 2020-11-29 22:49 _yanghh 阅读(2327) 评论(0) 推荐(0)

2020年11月28日

Pytorch 神经网络模块之 Linear Layers

摘要： 1. torch.nn.Linear PyTorch 中的 nn.linear() 是用于设置网络中的全连接层的，需要注意的是全连接层的输入与输出都是二维张量，一般形状为 [batch_size, size]。 """ in_features: 指的是输入矩阵的列数，即输入二维张量形状 [batch 阅读全文

posted @ 2020-11-28 21:21 _yanghh 阅读(3547) 评论(0) 推荐(1)