深度学习--从0实现线性回归（包含自动计算梯度）

# -*- coding: utf-8 -*-

import torch
import numpy as np
import matplotlib.pyplot as plt
import random
'''生成一个1000个数据集  y = W*X+b+k   k表示高斯白噪声 服从正态分布
'''
num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = torch.randn(num_examples, num_inputs, dtype=torch.float32)
# features[:, 0] 表示第一列
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
# labels.size() 表示 1000*2   # np.random.normal 表示一个正态分布
labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()),dtype=torch.float32)

plt.scatter(features[:, 1].numpy(), labels.numpy(), 1)
plt.show()


def data_iter(batch_size, features, labels):
    '''
        每次迭代一个batch_size大小的 特征值和标签
        :param batch_size:批量大小
        :param features: 所有特征值的矢量
        :param labels: 所有标签的矢量
        :return: 特征值和标签 的生成器
    '''
    num_examples = len(features)
    indices = list(range(num_examples))
    random.shuffle(indices)  # 样本的读取顺序是随机的
    for i in range(0, num_examples, batch_size):
        j = torch.LongTensor(indices[i: min(i + batch_size, num_examples)]) # 最后一次可能不足一个batch
        # index_select(0, j) 0表示按行索引，1表示按列索引
        # yield 表示生成一个生成器 并 return，类似于一个list
        yield  features.index_select(0, j), labels.index_select(0, j)

'''初始化模型参数
'''
w = torch.tensor(np.random.normal(0, 0.01, (num_inputs, 1)), dtype=torch.float32) # 随机生成两个数w，size为（(num_inputs, 1）
b = torch.zeros(1, dtype=torch.float32)  # 设置偏差b=0
# 自动求导注意：
# with torch.no_grad() # 包裹起来不追踪
# 1. wb支持求导，wb 必须是浮点型
# 2. 标量对标量求导 或者标量对向量求导 ，不是标量也可以求导
# 3. loss=[loss1,loss2,loss3] 让loss的各个分量分别对wb求导
# loss.backward(torch.tensor([[1.0,1.0,10.0,1.0]]))
# eg：
# x = torch.ones(2, 2, requires_grad=True)
# y=x+2
# z =y*y*3
# out = z.mean()
# out.backward()
# print(x.grad)  # 表示out对x的求导
# 结果 tensor([[4.5000, 4.5000],[4.5000, 4.5000]])
w.requires_grad_(requires_grad=True) # requires_grad=True w可利用链式法则进行梯度传播
b.requires_grad_(requires_grad=True) # requires_grad=True b可利用链式法则进行梯度传播

'''定义模型
'''
def linreg(X, w, b):
    return torch.mm(X, w) + b  # mm表示矩阵乘法

'''定义损失函数
'''
def squared_loss(y_hat, y):
    # 注意这里返回的是向量, 另外, pytorch里的MSELoss并没有除以 2
    return (y_hat - y.view(y_hat.size())) ** 2 / 2

'''定义优化算法
'''
def sgd(params, lr, batch_size):
    for param in params:
        param.data -= lr * param.grad / batch_size # 注意这里更改param时用的param.data

'''训练模型
'''
lr = 0.03
num_epochs = 3
net = linreg  # 模型是用回归模型
loss = squared_loss  # 损失函数使用平方损失函数
batch_size = 10
for epoch in range(num_epochs):  # 训练模型一共需要num_epochs个迭代周期
    # 在每一个迭代周期中，会使用训练数据集中所有样本一次（假设样本数能够被批量大小整除）。X
    # 和y分别是小批量样本的特征和标签
    for X, y in data_iter(batch_size, features, labels):
        l = loss(net(X, w, b), y).sum()  # l是有关小批量X和y的损失 X，y都是矢量，l.sum把矢量加为标量
        l.backward()  # 小批量的损失对模型参数求梯度
        sgd([w, b], lr, batch_size)  # 使用小批量随机梯度下降迭代模型参数
        # 不要忘了梯度清零
        w.grad.data.zero_()
        b.grad.data.zero_()
    train_l = loss(net(features, w, b), labels)
    print('epoch %d, loss %f' % (epoch + 1, train_l.mean().item()))