摘要： 前馈网络/全连接/多层感知机/有向无环图； 常见激活函数； 并行； 前馈神经网络； 计算梯度的方法； 静态/动态计算图； 卷积网络； 不同卷积核提取不同特征； 经典卷积结构； 循环网络； RNN入门； 经典结构； 一、前馈网络 （1）常见激活函数【前面是表达式，后面是评论】 【非0中心化，并且是指数 阅读全文

摘要： 逻辑回归； 感知机； 损失函数； 逻辑回归 1.表达式：（δ为logistic函数） 2.交叉熵： 交叉熵是按照概率分布q的最优编码对真实分布为p的信息进行编码的长度。 如果 p和 𝑞 越接近，交叉熵越小； 3.KL散度 KL散度是用概率分布q来近似p时所造成的信息损失量。 4.数据中（因为真实分 阅读全文

摘要： 正则化； 线性函数的概率角度推导； 先验分布决定的Loss函数； 有监督，无监督，增强学习； 资源链接 两种正则化（损害优化）： （1）增加优化约束L1,L2 （2）干扰优化过程：权重衰减，随机梯度下降，提前终止（我们使用一个验证集（Validation Dataset）来测试每一次迭代的参数在验证 阅读全文

摘要： 数组基本操作参考：https://www.cnblogs.com/tdskee/p/6912681.html 其中比较经常忘记的是list.index(),list.remove,list.extend() 补充：pop(index)可以弹出第index个元素(从0开始) 复制数组（如果直接赋值a= 阅读全文