《PyTorch深度学习》笔记（2）

目录

• 1、某些代码的含义
  • torch.rand()
  • torch.randn()
• 2、不同的激活函数
  • 2.1、sigmoid（不常用）
  • 2.2、tanh（比上面的用的稍微多一点）
  • 2.3、ReLU（常用）
  • 2.4、Leaky ReLU（未知）
• 非线性激活函数

1、某些代码的含义

torch.rand()

返回一个张量，包含了从区间[0, 1)的均匀分布中抽取的一组随机数。

输入
x = torch.rand(2,3)
print(x)
输出：
tensor([[0.0118, 0.2275, 0.2665],
        [0.8676, 0.2364, 0.4470]])

Process finished with exit code 0

torch.randn()

返回一个张量，包含了从标准正态分布（均值为0，方差为1，即高斯白噪声）中抽取的一组随机数

输入：
x = torch.rand(2, 3)
print(x)
输出（里面是0~1的随机数的2*3的张量）：
tensor([[0.4980, 0.0778, 0.3957],
        [0.4589, 0.3789, 0.9305]])

Process finished with exit code 0

• 反向传播是干嘛的？
  用来调整每条线的权值

2、不同的激活函数

2.1、sigmoid（不常用）

缺点：当sigmoid函数的输出值接近于0或者1的时候，simoid函数的前一层的梯度接近于0，这样使得参数不能经常调整，从而产生了无效的神经元

2.2、tanh（比上面的用的稍微多一点）

2.3、ReLU（常用）

• 优化器更快地找到正确的权重集合，使得随机梯度下降收敛更快
• 计算成本低，因为只进行了判断
• 缺点：很大的梯度进行反向传播，会出现无效神经元，所以要谨慎调整学习率

2.4、Leaky ReLU（未知）

要学到1-95页
学习反思：计划要不断调整，因为未知的不同内容的学习速度是不一样的，所以要及时调整每日的学习内容的多少

非线性激活函数