随笔分类 - 深度学习框架pytorch
摘要：1:为什么要进行normolize 【注】1：希望把输入的值控制在有效的范围内 【注】希望能够进行高效的查询最优解。例如：当x2值大，x1值偏小时，w1的改变导致的影响较小，w2的改变导致的影响较大。 2:Normlization的种类 3：Batch Norm （3.1）Batch Norm的图解
阅读全文
摘要：1：池化层 （1）Pooling(类似于downsampling) [注]leNet-5卷积神经网络中的Subsampling是向下采样中的隔行采样。而AlexNet之后的卷积神经网络则开始采用Max pooling或者是Avg sampling采样。 （1.1）Max pooling最大采样 （1
阅读全文
摘要：1：卷积 卷积操作在信号处理中的定义 故卷积操作：对应单元元素相乘再相加 （1）卷积核 （1.1）锐化卷积核 （1.2）模糊卷积核 （1.3）边缘检测 2：卷积神经网络 （2.1）卷积操作 【注】 Kernel_channels:卷积核通道，表示使用的卷积核的种类个数 Input_channels:
阅读全文
摘要：1：减弱过拟合reduce overfitting (1)regularization (1.1)Regularization函数 [注]λ为超参数（需要自己设置）迫使参数的一或者二范数逼近于0，。 decay衰减 (1.2)regularization的分类 【注】pytorch中内嵌了L2-re
阅读全文
摘要：1：train-val-test数据集的划分（6：2：2） [注]val 数据集其实质也是test，其只不过是在train数据集中划分出来的test数据集以选择合适的参数（防止选择的参数出现过拟合现象如图1中，当Degrees=5时,参数的选择最好，大于5会出现过拟合现象）。 2：k-flod cr
阅读全文
摘要：1：激活函数 (1.1)Tanh和Sigmoid函数 [注]sigmoid函数的取值区间为[0,1],适合概率和RGB值的重建。Tanh函数的取值区间为[-1,1]，多用于循环神经网络。 sigmoid和Tanh函数存在的问题：当w的取值无穷大或者无穷小的时候会出现梯度弥散的现象。 (1.2)ReL
阅读全文
摘要：全连接层非常重要，学习后面的各种网络模型都会用到，比如：cNN,RNN等等。但是一般向以上的模型输入的都是四维张量，故通过卷积和LSTM之后输出是四维张量，但是全连接层需要输入二维张量。故需要用到打平层（Flatten层）,将后面的3个维度打平，才能输入到全连接层（nn.liner层）。由于pyto
阅读全文
摘要：1:交叉熵 cross entropy (1)entropy熵 [注]熵又称为不确定性或者惊喜度或者是信息量.值越小,不确定性越强.(值越小惊喜度越大或者是值越小信息量越大) 例如:下图中的彩票中奖率. 假如1:有四个数字中奖概率分别为0.25,则熵值会很大.即中奖的概率确定性很高,也即是惊喜度越小
阅读全文
摘要：1:逻辑回归 (1)逻辑回归的目标以及方法 (2)为什么不能直接最大化精确度? [注] 问题1:当权值改变,精确度没有改变,即梯度信息为0的情况. 问题2:当权值改变一点,精确度发生很大的变化:如当权值改变0.001,原来判断错误的点被判断为正确,结果导致精确度发生很大的改变,导致梯度信息不连续.从
阅读全文
摘要：1：MLP(Multi-Layer Perceptron)反向传播 （1）多层感知机模型 （2）反向传播的推到过程（主要使用链式法则）： 【注】 W的上标表示第几层（也即是第几层输出层）。W的第一下标表示输入层的第几号节点，下标表示加权求和层（输出层）的第几号节点。 （3）最终推导结果： （4）单层
阅读全文
摘要：1：单一输出单层感知机 （1）单一输出单层感知机的优化过程（损失函数对权重的微分过程） [注] x的上标表示第几层，下标表示第几号节点。 W的上标表示第几层（也即是第几层输出层）。W的第一下标表示输入层的第几号节点，下标表示加权求和层（输出层）的第几号节点。 O输出的上标表示第几层，下标表示第几号节
阅读全文
摘要：1：softmax (1)softmax函数适用于多分类，可以将进行[0,1]之间的压缩，并且保证和为1. （2）softmax函数求导 (3)softmax函数在pytorch中的使用 [注]求梯度有两种，分别为：p.backward()以及torch.autograd.grad(). 当p.ba
阅读全文
摘要：1.MSE（均方差）梯度 (1)均方差MSE （2）MSE求梯度 【注】例如网络形式为线性感知机：ƒ(x)=w*x+b这里只是举例，具体用什么样的函数需要根据实际的网络结构。 对w求导则是：Δƒw(w)/Δw 对b求导则是：Δƒb(b)/Δb （3）均方差在pytorch中如何求梯度 （3.1.1）
阅读全文
摘要：1：常见函数的梯度 【注】 导数：一维函数的导数（梯度）没有方向是一个标量 梯度：有方向的向量 2：激活函数的梯度 (2.1)激活函数：Sigmoid/Logistic [注]sigmoid函数输出范围为【0，1】，多用于概率，图像的rgb通道等。 [注]sigmoid函数在torch中的使用有两种
阅读全文
摘要：1：导数/偏微分/梯度 区别： （1） 导数是一个没有方向之分的标量。 偏微分是一个有多个方向的标量。 梯度是一个向量。 （2） 导数反应的是变化量 2：如何搜索极小值：可能影响优化器的几种因素 （1）局部极小值 实际中的局部最小值实例： （2）鞍点 (3)初始状态/学习率/动量 （3.1.1）初始
阅读全文
摘要：1：where(condition,x,y) [注]返回一个和a,b shape相同的tensor,返回的tensor内容根据选择条件condition从a,b中进行选择。 如上图：选择条件为cond>0.5会返回一个元素类型为torch.unit8类型的0 or 1的tensor。0代表false
阅读全文
摘要：1：求范数norm(int)/norm(int,dim)当只有一个参数时表示求几范数，当有两个参数时第二个表示在哪一个索引维度求范数。 [注]在那个维度进行求范数时，哪个维度消失。例如图中shape为[2,2,2]的c在第0维度求范数则其shape变为[2,2] [注]较难理解因此进行详细刨析对于如
阅读全文
摘要：1：基本运算符（重载的+-*/或者函数add(a,b),sub(a,b),mul(a,b),div(a,b))实现基本的加减乘除。 【注】可以用eq()函数查看两种不同运算之后的维度信息是否相同，all()函数可以查看对用维度的数据元素是否相同。 2：matmul/mm/@都是矩阵相乘 【注】mm仅
阅读全文
摘要：1：Broadcasting维度的自动扩张 特点：能够进行维度的自动扩张，而又不复制数据。 使用例如下图： 例如上图：A 形状为[4,32,14,14]的tensor与B 形状为[32]的tensor相加，首先需要右对齐，由于右对齐32与A最右边的 的14不匹配，故需要先手动添加两个维度生成B [3
阅读全文
摘要：1：view reshape合并维度 【注】：合并维度。若：x=torch.randn(4,4)。x.view(-1,8)其中的-1为自动计算剩余维度的大小即为2。x.view(-1)其中的-1表示拉直张量。 2:unsqueeze()插入维度/squeeze()删除维度 【注】当参数为正数是在前面
阅读全文
浙公网安备 33010602011771号