深度学习笔记（一）

识别图像主题

• pytorch 金毛分类
• resnet 101

对抗式生成

• GAN
• CycleGAN
• resnetGeneration 马 -> 斑马
• 换脸、生成音频、文本、音乐

描述场景的预训练网络

• NeuralTalk2 模型

• 提供一幅自然图像，这个模型会生成一段关于场景的英文说明
  

• 包含 2 个相连的部分

  • 前半部分：一个网络，学习生成场景的 “描述性” 数字表征（分类？），例如，大花猫、激光鼠标、爪子，作为后半部分的输入。
  • 后半部分：循环神经网络，将这些描述性的数字放在一起产生一个连贯的句子

• NeuralTalk2 是2016年的成果，目前已经找不到备份，现在都用Transformer架构

• MS COCO 是微软构建的数据集，Microsoft Common Objects in Context

PyTorch 接口

• 要通过 Torch Hub 机制发布模型，只需将一个名为 hubconf.py 的文件放在 GitHub 存储库的根目录下
• 存储库、入口点、关键参数 <-- 使用 torch.hub 加载模型所需要的全部内容

import torch
from torch import hub
resnet18_model = hub.load('pytorch/vision:master',      #  Github 存储库的名称
                           'resnet18',                  #  入口函数的名称
                            pretrained = True)          #  关键参数（是否用 ImageNet 的参数进行初始化）

• 将 pytorch/vision 主分支的快照及其权重下载到本地目录
• 这里默认下载到本地的 torch/hub 目录下
• 然后运行 resnet18 入口点函数，该函数返回实例化的模型

Tensor 广播