个人李沐AI学习笔记

线性回归
random.shuffle(list) 打乱list中元素
torch
1、需要更新的参数在前向传播中 requires_gard = True
2、需要更新的参数在反向传播中
With torch.no_grad():
数值稳定
解决梯度爆炸和消失问题
方法：
1、梯度计算乘法转加法
2、保证每层梯度 均值 方差 一定
2.1、为了保证2 合理初始化权重 初始化该层参数的权重方差*网络输出的维度 = 1


上图 先证明了 过原点的 y=x 的线性函数能保证每层梯度的均值方差一定，然后对各个激活函数进行泰勒展开，比对x，进行调整