摘要：本文是深度学习入门： 基于Python的实现、神经网络与深度学习（NNDL）以及花书的读书笔记。本文将以多分类任务为例，介绍多层的前馈神经网络（Feed Forward Networks，FFN）加上Softmax层和交叉熵CE（Cross Entropy）损失的前向传播和反向传播过程（重点）。本文 阅读全文

摘要：参数初始化的读书笔记。参考图书：深度学习入门： 基于Python的实现，神经网络与深度学习（NNDL）。参数初始化主要分为：随机初始化和预训练初始化。随机初始化直接依赖先验分布来初始化网络参数，而预训练初始化则基于有监督或自监督训练来寻找较好的初始值（便于迁移）。 一、随机初始化 在训练线性模型时， 阅读全文

摘要：1. 感知机模型 感知机Perception是一个线性的分类器，其只适用于线性可分的数据：\[ f(\mathbf{x}) = sign(\mathbf{w}^\mathrm{T} \mathbf{x} + b)\] 其试图在所有的线性可分超平面构成的假设空间中找到一个能使训练集中的数据可分的超平面 阅读全文

摘要：自己讲论文做的异构图神经网络的ppt。再转变成博客有点麻烦，所以做成图片笔记。 论文链接：https://arxiv.org/abs/1903.07293 阅读全文