摘要：
尾声到此为止，可以 宣告结束了；其实大部分都是在2020年的疫情期间写的； 这次又把卷积神经网络可视化的实现部分添加上去了。目前为止，基本实现了一个卷积神经网络，也算是弥补了自己上学时的一个遗憾。就这样吧，废话不太多说。期待能和更多的小伙伴沟通、交流。By 2021/4/1这里为了统一：在此贴出每次 阅读全文
摘要：
卷积网络的可视化和特征图 阅读全文
摘要：
卷积的实现 阅读全文
摘要：
介绍conv的forward和优化方式 阅读全文
摘要：
batch Norm的实现 阅读全文
摘要：
解决过拟合的方法与实现 阅读全文
摘要：
optimization的实现 阅读全文
摘要：
softmax的实现 阅读全文
摘要：
我们已经可以实现一些简单的节点（比如， 加法，乘法等），以及 激活函数；
并且已经知道了 backward() 函数的实现的方法：只要计算偏导数即可，将偏导数公式的实现放到 对应节点的backward函数中即可；
在本章中会介绍一些复杂的层，比如affine, Softmax-with-Loss ; 本章比较考验数学功底、对梯度求导的理解、对计算图的理解；
话不多说，开始.... 阅读全文
摘要：
在第二篇中介绍了用数值微分的形式计算神经网络的梯度，数值微分的形式比较简单也容易实现，但是计算上比较耗时。本章会介绍一种能够较为高效的计算出梯度的方法：基于图的误差反向传播。
根据 deep learning from scratch 这本书的介绍，在误差反向传播方法的实现上有两种方法：一种是基于数学式的（第二篇就是利用的这种方法），一种是基于计算图的。这两种方法的本质是一样的，有所不同的是表述方法。计算图的方法可以参考feifei li负责的斯坦福大学公开课CS231n 或者theano的tutorial/Futher readings/graph Structures.
之前我们的误差传播是基于数学式的，可以看出对代码编写者来说很麻烦； 阅读全文
摘要：
Backward是神经网络训练过程中包含的一个过程，在这个过程中会通过反馈调节网络中各个节点的权重，以此达到最佳权重参数。在反馈中，loss value是起点，是衡量与label之间差距的值。Loss value 自然是loss function计算得出的。 阅读全文
摘要：
传送门： https://www.cnblogs.com/greentomlee/p/12314064.html
github: Leezhen2014: https://github.com/Leezhen2014/python_deep_learning
在第二篇中介绍了用数值微分的形式计算神经网络的梯度，数值微分的形式比较简单也容易实现，但是计算上比较耗时。本章会介绍一种能够较为高效的计算出梯度的方法：基于图的误差反向传播。
根据 deep learning from scratch 这本书的介绍，在误差反向传播方法的实现上有两种方法：一种是基于数学式的（第二篇就是利用的这种方法），一种是基于计算图的。这两种方法的本质是一样的，有所不同的是表述方法。计算图的方法可以参考feifei li负责的斯坦福大学公开课CS231n 或者theano的tutorial/Futher readings/graph Structures.
之前我们的误差传播是基于数学式的，可以看出对代码编写者来说很麻烦；
这次我们换成基于计算图的； 阅读全文
摘要：
Forward指的是神经网络推理，forward与感知机相比，多了一个激活函数的模块。因此本章需要实现激活函数，另外也需要重新实现y=w*x+b。 阅读全文