12 2020 档案
摘要：学习率调整 class _LRScheduler 主要属性 optimizer:关联的优化器 last_epoch:记录epoch数 bash_lrs:记录初始学习率 class _LRScheduler(object): def __init__(self, optimizer, last_epo
阅读全文
摘要：5和6是在数据回归中用的较多的损失函数 5. nn.L1Loss 功能：计算inputs与target之差的绝对值 代码： nn.L1Loss(reduction='mean') 公式： \[ l_n = |x_n-y_n| \] 6. nn.MSELoss 功能：计算inputs与target之差
阅读全文
摘要：损失函数 1. 损失函数概念 损失函数：衡量模型输出与真实标签的差异 \[ 损失函数(Loss Function): Loss = f(\hat y,y) \] \[ 代价函数(Cost Function): Cost =\frac{1}{N} \sum^{N}_{i}f(\hat y_i ,y_i
阅读全文
摘要：权值的方差过大导致梯度爆炸的原因 方差一致性原则分析Xavier方法与Kaiming初始化方法 饱和激活函数tanh，非饱和激活函数relu pytorch提供的十种初始化方法 梯度消失与爆炸 \[ H_2 = H_1 * W_2\\ \Delta W_2 = \frac{\partial Loss
阅读全文
摘要：https://blog.csdn.net/weixin_36604953/article/details/102652160
阅读全文
摘要：来源1：https://www.jianshu.com/p/3f01c5658356 来源2：https://blog.csdn.net/smstong/article/details/44340637 排版 行内与独行 名称 符号 示例语法 示例 行内公式 $公式内容$ $xyz$ 公式内换行 \
阅读全文
摘要：import torch.nn as nn from PIL import Image from torchvision import transforms from matplotlib import pyplot as plt import torch import sys import os
阅读全文
摘要：卷积层 1. 1d/2d/3d卷积 Dimension of Convolution 卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加 卷积核：又称为滤波器，过滤器，可认为是某种模式，某种特征。 卷积过程类似于用一个模版去图像上寻找与它相似的区域，与卷积核模式越相似，激活值越高，从而实现
阅读全文
摘要：containers graph LR A["Containers"] --> B["nn.Sequetial"] B["nn.Sequetial"] --> C["wrap multiple network layers in sequence"] A["Containers"] --> D["n
阅读全文
摘要：模型创建与nn.Module 网络模型创建步骤 nn.Module graph LR 模型 --> 模型创建 模型创建 --> 构建网络层 构建网络层 --> id[卷积层,池化层,激活函数层] 模型 --> 权值初始化 权值初始化 --> id1[Xavier,Kaiming,均匀分布,正太分布]
阅读全文
摘要：图像变换 Pad 对图片边缘进行填充 transforms.Pad(padding,fill=0,padding_mode='constant') padding:设置填充大小，(a,b,c,d)左上右下填充abcd padding_mode:填充模式，4种模式，constant,edge,refl
阅读全文
摘要：transforms transforms运行机制 torchvision.transforms:常用的图像预处理方法 torchvision.datasets:常用数据及的dataset实现，mnist，cifar-10，imagenet等 torchvision.model:常用的模型与训练，A
阅读全文
摘要：import numpy as np import torch import os import random from PIL import Image from torch.utils.data import Dataset from torch.utils.data import DataLo
阅读全文
摘要：DataLoader与Dataset pytorch中的数据读取机制 graph TB DataLoader --> DataLoaderIter DataLoaderIter --> Sampler Sampler --> Index Sampler --> DatasetFetcher Inde
阅读全文
摘要：autograd与逻辑回归 自动求导系统中两个常用的方法： torch.autograd.backward and torch.autograd.grad 演示理解一阶导数、二阶导数的求导过程 理解自动求导系统，以及张量，前向传播构建计算图、计算图求取梯度 演示逻辑回归训练，学习五大模块：数据、模型
阅读全文
摘要：转载：https://www.cnblogs.com/marsggbo/p/11549631.html 平常都是无脑使用backward，每次看到别人的代码里使用诸如autograd.grad这种方法的时候就有点抵触，今天花了点时间了解了一下原理，写下笔记以供以后参考。以下笔记基于Pytorch1.
阅读全文
摘要：张量的一系列操作，增多，导致可能出现多个操作之间的串行并行，协同不同的底层之间的协作，避免操作的冗余。计算图就是为了解决这些问题产生的。 计算图与动态图机制 1. 计算图 计算图用来描述运算的有向无环图，计算图有两个主要元素：结点Node和边Edge。 结点表示数据，如向量、矩阵、张量。 边表示运算
阅读全文
摘要：线性回归 线性回归是分析一个变量与另外一个变量之间关系的方法 因变量：y 自变量：x 关系：线性 y = wx+b 分析：求解w,b 求解步骤: 确定模型，Model:y = wx+b 选择损失函数，MSE: \[ \frac{1}{m}\sum^{m}_{i=1}(y_i-\hat{y_i}) \
阅读全文
摘要：张量操作 一、张量的拼接 torch.cat() 功能：将张量按维度dim进行拼接,且[不会扩张张量的维度] tensors:张量序列 dim:要拼接的维度 torch.cat(tensors, dim=0, out=None) flag = True # flag = False if flag:
阅读全文
摘要：二、张量的简介与创建 2.1张量的概念 张量的概念：Tensor 张量是一个多维数组，它是标量、向量、矩阵的高维拓展 Tensor与Variable Variable是torch.autograd(torch.autograd.Variable)中的数据类型，主要用于封装Tensor 进行自动求导
阅读全文
摘要：pytorch pytorch定位：深度学习框架 人工智能：多领域交叉科学技术 机器学习：计算机智能决策算法 深度学习：高效的机器学习算法 pytorch实现模型训练需要5个模块 数据 将数据从硬盘读进内存 组织数据进行训练，图片预处理以及数据增强 裁剪、缩放、翻转 模型 构建模型模块，组织复杂网络
阅读全文
浙公网安备 33010602011771号