摘要：在上个lecture中，我们看到了任意特定层是如何生成输出的，输入数据在全连接层或者卷积层，将输入乘以权重值，之后将结果放入激活函数（非线性单元） 下面是一些激活函数的例子，有在之前使用过的sigmoid函数，之前提及到的ReLU函数。这里会提及更多的激活函数，并在它们之间进行权衡。 先是之前见过的 阅读全文

摘要：原博客：https://blog.csdn.net/dawningblue/article/details/82902336 用不是特别严谨但是比较通俗的语言描述整个过程 卷积神经网络是从卷积层开始介绍的，而卷积层的介绍是从全连接层开始介绍的。 全连接层的处理方式是一次性处理一张图片的全部信息，处理 阅读全文

摘要：Normal Distribution 称为正态分布，也称为高斯分布， Truncated Normal Distribution 一般译为截断正态分布，也有称为截尾正太分布。 截断正态分布是截断分布（Truncated Distribution）的一种，那么截断分布是什么？截断分布，限制变量x取值 阅读全文

摘要：原博客：https://blog.csdn.net/huplion/article/details/79069365 （在此仅作学习记录作用） 一、前言 在前几篇文章中，我们学习到如何在训练集上设置权重，并由此计算出损失(loss)，其中loss是由两部分组成，分别是数据损失项和正则化项目。我们最终 阅读全文

摘要：原博客：https://blog.csdn.net/sinat_36458870/article/details/82824529（此处只做学习记录用） 回顾上次的内容，其实就会发现，虽然我们构造好了损失函数，可以简单使用导数的定义解决损失函数优化问题，但是并不高效。 1. 该课程，主要是： 反向传 阅读全文