2021年7月16日
tensorflow-broadcasting
摘要： 阅读全文
posted @ 2021-07-16 23:05 neuralNerd 阅读(18) 评论(0) 推荐(0)
吴恩达-梯度检验
摘要： 为了验证BP 梯度是否有问题可以用 进行检验,对于每一个权重theta,计算 [J(theta+epsilon)-J(theta-epsilon)]/(2*epsilon),每一个结果都保存在一个矩阵里,然后同样的,将每一个theta实际的梯度按同样规则保存在矩阵里,最后求解两者的欧式距离然后和阈值 阅读全文
posted @ 2021-07-16 12:14 neuralNerd 阅读(79) 评论(0) 推荐(0)
吴恩达-梯度爆炸和消失
摘要： 如果神经网络层数过多,假设每一次的W权重都是一样的且都>1,那么经过L层,则在反向传播中,往后的梯度会是指数级增长, w^L，反正如果w<1,最后梯度会一直接近于0造成梯度小时的现象 那么如何解决这个问题呢 最直接的方式就是从根源入手,如果是如图的线性激活函数g(z)=z,则尽量减少W值,此处线性关 阅读全文
posted @ 2021-07-16 12:09 neuralNerd 阅读(78) 评论(0) 推荐(0)