PyTorch Tutorial - 文章分类 - veager

网络优化与正则化

摘要：1. 网络优化 1.1 网络结构多样性 1.2 高维变量的非凸优化鞍点（Saddle Point）局部最小值（Local Minima）驻点（Stationary Point）在高维空间中大部分驻点都是鞍点平坦最小值（Flat Minima）尖锐最小值（Sharp Minima）局部最阅读全文

posted @ 2022-07-22 10:48 veager 阅读(463) 评论(0) 推荐(0)

PyTorch 正则化，读写模型

摘要：PyTorch 正则化，读写模型 1. 正则化 1.1 权重衰减 Weight Decay 权重衰减（Weight Decay）在每次参数更新时，引入一个衰减系数。 \[ \theta_{t} \leftarrow(1-\beta) \theta_{t-1}-\alpha g_{t} \] 其中，\ 阅读全文

posted @ 2022-05-27 00:13 veager 阅读(705) 评论(0) 推荐(0)

PyTorch 损失函数

摘要：PyTorch 损失函数 Loss Functions 0 概述 PyTorch 中，损失函数有两种形式，与激活函数类似：层（模块）的形式：需要先定义，再使用。为 torch.nn 模块下的类，官方文档函数形式：直接使用。为 torch.nn.functional 模块中的函数，官方文档 PyT 阅读全文

posted @ 2022-05-26 19:23 veager 阅读(865) 评论(0) 推荐(0)

激活函数 Activation Functions

摘要：PyTorch 激活函数 Activation Functions 0. 概述 PyTorch 中，激活函数有两种形式：层（模块）的形式：需要先定义，再使用。为 torch.nn 模块下的类，官方文档函数形式：直接使用。为 torch.nn.functional 模块或 torch.nn 模块中阅读全文

posted @ 2022-05-26 19:22 veager 阅读(390) 评论(0) 推荐(0)

PyTorch Lightning 教程

摘要：PyTorch Lightning 教程 1. TorchMetrics 库指标评估：官网阅读全文

posted @ 2022-05-25 16:30 veager 阅读(24) 评论(0) 推荐(0)

Pytorch 第三方工具：模型输出、可视化

摘要：1. 模型信息输出：torchinfo 库 torchinfo 库可是输出模型的结构、参数等信息：GitHub 实例： from torchinfo import summary model = ConvNet() batch_size = 16 summary(model, input_size= 阅读全文

posted @ 2022-05-25 15:56 veager 阅读(262) 评论(0) 推荐(0)

PyTorch torch.nn.Module 类构建模型

摘要：PyTorch torch.nn.Module 类：官方说明文档用于构建模型自定义网络层（可以为模块、层、损失函数、激活函数等） 1. 模型基本框架框架如下，其中 __init__() 初始化函数和 forward() 为必需。loss_func() 等其他函数，可以根据实际需要设置。 cla 阅读全文

posted @ 2022-05-24 12:56 veager 阅读(728) 评论(0) 推荐(0)

Pytorch torch.optim 模块优化器

摘要：Pytorch torch.optim 模块优化器 1. 优化器： torch.optim 模块 PyTorch 中包含的优化器有：site 1.1 优化器 torch.optim.Optimizer 类 1.1.1 主要参数 params：需要通过优化器学习（即：优化，或训练）的参数，一般通过阅读全文

posted @ 2022-05-24 12:36 veager 阅读(865) 评论(0) 推荐(0)

PyTorch 模型训练的流程

摘要：PyTorch 模型训练的流程 1. 模型构建模型构建主要包括以下部分：创建结构化数据定义网络模型结构：主要通过继承 torch.nn.Module() 类实现定义损失函数定义优化器：torch.optim 模块训练过程 2. 创建结构化数据主要通过 torch.utils.data. 阅读全文

posted @ 2022-05-23 13:13 veager 阅读(492) 评论(0) 推荐(0)

PyTorch GPU 加速

摘要：Pytorch GPU 加速 1. GPU 加速在 cmd 命令框中输入如下代码，可参看 GPU 的具体信息 nvidia-smi 安装 CUDA，官方地址 conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytor 阅读全文

posted @ 2022-05-22 18:55 veager 阅读(849) 评论(0) 推荐(0)

PyTorch 自动微分 AutoGrad

摘要：PyTorch 自动梯度 AutoGrad 1. Python 自动梯度库 Python 中可以做自动梯度（Autograd 或者说自动梯度）的库 PyTorch Tensorflow JAX, Github Autograd, Github Tangent, Github 2 AutoGrad 自阅读全文

posted @ 2022-05-22 13:50 veager 阅读(254) 评论(0) 推荐(0)

PyTorch torch.utils.data 模块结构化数据

摘要：torch.utils.data 模块中的一些函数，PyTorch 官方文档 1. Dataset 类 Dataset 类创建 Map-style 数据集，通过 __getitem__() 和 __len__() 方法来从数据集中采样，样本可以表示为数据集的索引或键值（indices / keys）阅读全文

posted @ 2022-05-22 11:56 veager 阅读(510) 评论(0) 推荐(0)

Pytorch 数据类型、张量生成、张量操作

摘要：1. 构建数据 1.1 torch.Tensor 数据 1.1.1 torch.Tensor常用数据类型 pytorch 的基本数据结构为 torch.Tensor与 numpy 中 numpy.ndarray 数据结构类似，注意：Tensor（大写T）表示张量对象，其初始化函数为 torch.t 阅读全文

posted @ 2022-05-21 18:31 veager 阅读(431) 评论(0) 推荐(0)

PyTorch torch.nn 模块 Layer 总结

摘要：Pytorch 中，对 Layer 的总结，即 torch.nn 模块，官网. 0. 概述 0.1 torch.nn 模块中的类 0.1.1 torch.nn 模块中类的划分为了理清 torch.nn 模块中的内容，可以将 torch.nn 模块中的类分为 4 种：容器类，nn.modules. 阅读全文

posted @ 2022-05-20 12:24 veager 阅读(3066) 评论(0) 推荐(0)

veager

文章分类 - Deep Learning / PyTorch Tutorial