2023 年 5月 9 日随笔档案 - JevonChao

深度学习—神经网络优化

摘要：激活函数作用：增加非线性因素 Relu激活函数，含GELU softmax激活函数：优势和劣势都无限扩大，每个都是自然数次方 sofrmax和sigmoid的区别： sigmoid激活函数：每个神经元激活时只看自己激活前的值，不满足各个神经元激活后的输出值相加等于1的性质，个神经元之间是独立的。阅读全文

posted @ 2023-05-09 18:07 JevonChao 阅读(176) 评论(0) 推荐(0)

深度学习—损失函数专题

摘要：损失函数概念 1、对于监督学习：估量神经网络模型的预测值和真实值的不一致的程度，衡量的是：在神经网络训练阶段，某个或若干个输入样本，在输出层上的预测值和真实值之间不一致的程度。 2、广义上（无监督）：衡量两个特征向量之间的差异程度/不一致程度/距离 3、作用：定义最终的损失值，是神经网络误差回传和权阅读全文

posted @ 2023-05-09 18:07 JevonChao 阅读(298) 评论(0) 推荐(0)

2023年5月9日

公告