摘要： 最小二乘法，极大似然估计，交叉熵的公式推导 阅读全文

摘要： 卷积神经网络和深度神经网络的区别与联系 DNN是指深度神经网络，它是一个很广的概念，某种意义上CNN、RNN、GAN等都属于其范畴之内。DNN与CNN（[卷积神经网络）的区别是DNN特指全连接的神经元结构，并不包含卷积单元或是时间上的关联。其中最初的神经网络的所有隐含层都是全连接的，这也就导致其计算 阅读全文

摘要： 归一化（Normalization）是指将数据缩放到一定范围内，一般是将数据映射到[0,1]或[-1,1]之间。这样可以避免不同特征的数值差异过大而导致的训练困难，同时也有助于加快梯度下降的收敛速度。 正则化（Regularization）是指在损失函数中加入一个正则化项，以惩罚模型复杂度。常用的正 阅读全文