pytorch_01（转载）
Pytorch(一)
一、Pytorch介绍
Pytorch 是Torch在Python上的衍生物
和Tensorflow相比：
Pytorch建立的神经网络是动态的，而Tensorflow建立的神经网络是静态的
Tensorflow的高度工业化，它的底层代码很难看懂
Pytorch主要有两个模块：
一个是torch,一个是torchvision,torch是主模块，用来搭建神经网络。torchvision是辅模块，有数据库，还有一些已经训练好的神经网络等着你直接用比如（VGG,AlexNet,ResNet）
二、基础知识
1.与Numpy交互
（1）数据转换
import torch import numpy as np # 创建一个np array a = np.array([[1,2], [3,4]]) b = torch.from_numpy(a) # 根据np array创建torch 张量 c = b.numpy() # 根据张量, 导出np array
torch中tensor的运算与numpy array运算相似，比如
np.abs()--->torch.abs()
np.sin()---->torch.sin()等
2.变量Variable
(1)Variable组成
在Torch中Variable由三部分组成：data部分是Torch的Tensor,grad部分是这个变量的梯度缓存区，creator部分是这个Variable的创造节点，如果用一个Variable进行计算，那返回的也是同类型的Variable
(2)使用
导入
import torch
from torch.autograd import Variable
定义Variable的同时有一项requires_grad是关于参不参与误差反向传播，要不要计算梯度
注意Variable 和Tensor的区别：
Variable计算时，它在后台默默地搭建着一个庞大地系统，叫做计算图。computional graph将所有地计算步骤（节点）都连接起来，最后进行误差反向传递地时候，一次性将所有Variable里面地修改梯度都计算出来，而tensor只是一个数据结构。
构建计算图
y = w * x + b # y = 2 * x + 3
（3）计算梯度
# 对y求梯度 y.backward() # 打印一下各个变量的梯度 print(x.grad) # y对x的梯度: x.grad = 2 print(w.grad) # y对w的梯度: w.grad = 1 print(b.grad) # y对b的梯度: b.grad = 1
（4）Variable里面地数据
直接print(variable)只会输出Variable形式地数据，在很多时候是用不了地（比如想要用plt绘图），所以我们要转换一下，将它变成tensor形式
获取tensor数据：Print（variable.data）,也可以将其转为numpy形式：print(variable.data.numpy())
3.Pytorch中的激活函数
导入包：import torch.nn.functional as F
平时常用的：relu、sigmoid,tanh,softplus
激活函数：激活函数的输入与输出都是variable
4.Pytorch中的数据加载器和batch
(1)生成数据生成并构建Dataset子集
import torch import torch.utils.data as Data torch.manual_seed(1) BATCH_SIZE = 5 x = torch.linspace(1, 10, 10) # 输入数据 y = torch.linspace(10, 1, 10) # 输出数据 # 打包成TensorDataset对象,成为标准数据集 torch_dataset = Data.TensorDataset(data_tensor=x, target_tensor=y)
（2）生成batch数据
PyTorch用类torch.utils.data.DataLoader加载数据，并对数据进行采样，生成batch迭代器
# 创建数据加载器
loader = Data.DataLoader(
dataset=torch_dataset, # TensorDataset类型数据集
batch_size=BATCH_SIZE, # mini batch size
shuffle=True, # 设置随机洗牌
num_workers=2, # 加载数据的进程个数
)
for epoch in range(3): # 训练3轮
for step, (batch_x, batch_y) in enumerate(loader): # 每一步
# 在这里写训练代码...
print('Epoch: ', epoch, '| Step: ', step, '| batch x: ', batch_x.numpy(), '| batch y: ', batch_y.numpy())
6.GPU运算
Pytorch中使用GPU计算简单，通过调用.cuda()方法，很容易实现GPU支持
torch.cuda会记录当前选择的GPU，并且分配的所有CUDA张量将在上面创建
可以使用torch.cuda.device上下文管理器更改所选设备
7.加载预训练模型
import torchvision
# 下载并加载resnet.
resnet = torchvision.models.resnet18(pretrained=True)
# 如果你只想要finetune模型最顶层的参数
for param in resnet.parameters():
# 将resent的参数设置成不更新
param.requires_grad = False
# 把resnet的全连接层fc 替换成自己设置的线性层nn.Linear
# 比如说,输入维度是resnet.fc.in_features, 输出是100维
resnet.fc = nn.Linear(resnet.fc.in_features, 100)
# 测试一下
images = Variable(torch.randn(10, 3, 256, 256))
outputs = resnet(images)
print (outputs.size()) # (10, 100)
8.简单回归
import torch
from torch.autograd import Variable
import matplotlib.pyplot as plt
torch.manual_seed(1)
x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # 张量 x: (100, 1)
y = x.pow(2) + 0.2*torch.rand(x.size()) # 加入噪声的张量 y: (100, 1)
# 将张量转为 Variable
x, y = Variable(x), Variable(y)
# 画一下
plt.scatter(x.data.numpy(), y.data.numpy())
plt.show()
class Net(torch.nn.Module):
def __init__(self, n_feature, n_hidden, n_output):
super(Net, self).__init__()
self.hidden = torch.nn.Linear(n_feature, n_hidden) # 隐层
self.relu = torch.nn.ReLU() # 选择激活层
self.predict = torch.nn.Linear(n_hidden, n_output) # 输出层
def forward(self, x):
x = self.hidden(x) # 计算隐层
x = self.relu(x) # 计算激活层
x = self.predict(x) # 输出层
return x
net = Net(n_feature=1, n_hidden=10, n_output=1) # 定义网络
print(net)
#打印网络结构
# 选择损失函数和优化方法
loss_func = torch.nn.MSELoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.2)
plt.ion() # hold住图
for t in range(100):
prediction = net(x) # 用网络预测一下
loss = loss_func(prediction, y) # 计算损失
optimizer.zero_grad() # 清除上一步的梯度
loss.backward() # 反向传播, 计算梯度
optimizer.step() # 优化一步
if t % 5 == 0:
plt.cla()
plt.scatter(x.data.numpy(), y.data.numpy())
plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
plt.text(0.5, 0, 'Loss=%.4f' % loss.data[0], fontdict={'size': 20, 'color': 'red'})
plt.pause(1)
print(t)
plt.ioff()
plt.show()
9.快速构建序列网络
torch.nn.Sequential是一个Sequential容器，模块将按照构造函数中传递的顺序添加到模块中。另外 ，也可以传入一个有序模块。
# Sequential使用实例
model = nn.Sequential(
nn.Conv2d(1,20,5),
nn.ReLU(),
nn.Conv2d(20,64,5),
nn.ReLU()
)
# Sequential with OrderedDict使用实例
model = nn.Sequential(OrderedDict([
('conv1', nn.Conv2d(1,20,5)),
('relu1', nn.ReLU()),
('conv2', nn.Conv2d(20,64,5)),
('relu2', nn.ReLU())
]))
为了方便比较，我们先用普通方法搭建一个神经网络。
import torch
# 继承方式实现, 能够自定义forward
class ModuleNet(torch.nn.Module):
def __init__(self, n_feature, n_hidden, n_output):
super(ModuleNet, self).__init__()
self.hidden = torch.nn.Linear(n_feature, n_hidden) # 隐层
self.relu = torch.nn.ReLU() # 选择激活层
self.predict = torch.nn.Linear(n_hidden, n_output) # 输出层
def forward(self, x):
x = self.hidden(x) # 计算隐层
x = self.relu(x) # 计算激活层
x = self.predict(x) # 输出层
return x
module_net = ModuleNet(1, 10, 1)
上面ModuleNet继承了一个torch.nn.Module中的神经网络结构, 然后对其进行了修改；接下来我们来使用torch.nn.Sequential来快速搭建一个神经网络。
#用序列化工具, 给予Pytorch 内部集成的网络层 快速搭建
seq_net = torch.nn.Sequential(
torch.nn.Linear(1, 10),
torch.nn.ReLU(),
torch.nn.Linear(10, 1)
)
我们来打印一下2个神经网络的数据，查看区别:
print(module_net) # 打印网络结构 """ ModuleNet ( (hidden): Linear (1 -> 10) (relu): ReLU () (predict): Linear (10 -> 1) ) """ print(seq_net) # 打印网络结构 """ Sequential ( (0): Linear (1 -> 10) (1): ReLU () (2): Linear (10 -> 1) ) """
本文来自博客园，作者：编程coding小白，转载请注明原文链接：https://www.cnblogs.com/zhenhua1203/p/15705328.html
