2023年5月25日
反向传播
摘要： # 反向传播 将输入值与参数用向量的形式表示，神经网络可以简化为： ![image-20230525191032420](https://gitee.com/drenched-with-snow/pic-go/raw/master/202305251921228.png) 损失函数为： ![imag 阅读全文
posted @ 2023-05-25 19:21 同淋雪 阅读(132) 评论(0) 推荐(0)
Softmax
摘要： # Softmax 将输出的离散值转换成概率值，且所有情况的概率之和为1。 ![image-20230512142531121](https://gitee.com/drenched-with-snow/pic-go/raw/master/202305251845329.png) 求导 ![imag 阅读全文
posted @ 2023-05-25 18:46 同淋雪 阅读(121) 评论(0) 推荐(0)
常见LOSS函数之MSE
摘要： # MSE及其梯度 ## MSE（mean squared error均方差） ![image-20230511162639392](https://gitee.com/drenched-with-snow/pic-go/raw/master/202305251842859.png) pytorch 阅读全文
posted @ 2023-05-25 18:43 同淋雪 阅读(89) 评论(0) 推荐(0)
多层感知机的梯度推导
摘要： # 多层感知机的梯度推导 ![image-20230525181251347](https://gitee.com/drenched-with-snow/pic-go/raw/master/202305251837340.png) pytorch实现 注：torch.randn(m,n)生成m行n列 阅读全文
posted @ 2023-05-25 18:37 同淋雪 阅读(18) 评论(0) 推荐(0)
单层感知机的梯度推导
摘要： # 单层感知机的梯度推导 ![image-20230525175539202](https://gitee.com/drenched-with-snow/pic-go/raw/master/202305251836396.png) w10表示前一层的第1节点和这一层的第0节点相连。 ![image- 阅读全文
posted @ 2023-05-25 18:36 同淋雪 阅读(20) 评论(0) 推荐(0)
激活函数及其梯度
摘要： # 激活函数及其梯度 1959年科学家对青蛙神经元的机制进行了研究，发现神经元不是对所有的输入都响应，而是只有值大于某个阈值时才会响应，且输出的值是固定的。 科学家借鉴这种机制发明了神经元模型。 这个函数在z=0处是不连续的，没法求它的导数，无法使用梯度下降进行优化。 为了解决这问题，科学家引入了新 阅读全文
posted @ 2023-05-25 18:35 同淋雪 阅读(78) 评论(0) 推荐(0)
梯度及梯度下降
摘要： # 梯度下降 我们的目的是找到使预测值最接近真实值的参数，也就是使损失函数最小的参数，即求解损失函数的极值点。于是引入梯度下降的方法，这是被使用最广泛的优化算法。 梯度下降算法是通过一次次的去调整参数，使得损失函数下降到极小值。 ## 什么叫梯度？ 梯度就是下降的方向，它的值为损失函数的偏导数。学习 阅读全文
posted @ 2023-05-25 18:33 同淋雪 阅读(75) 评论(0) 推荐(0)
似然函数与损失函数
摘要： # 似然函数与损失函数 ## 一、误差 对于每个样本，真实值等于预测值与误差之和。 每一个样本的误差，都是独立且同分布的，并且均服从高斯分布 由于误差服从高斯分布，误差的概率分布可表示为P(e(i))，于是theta的概率分布也可表示出来,如下 ## 二、似然函数 我们的目标是找出使预测值最接近真实 阅读全文
posted @ 2023-05-25 18:30 同淋雪 阅读(266) 评论(0) 推荐(0)