摘要：1. 摘要 在$ReLu$的基础上作者提出了$PReLu$，在几乎没有增加额外参数的前提下既可以提升模型的拟合能力，又能减小过拟合风险。 针对的$ReLu/PReLu$矫正非线性，作者设计了一个鲁棒的的参数初始化方法。 2. 介绍 在过去几年，随着更强大网络模型的构建和有效防止过拟合策略的设计，我们 阅读全文

摘要：前言 我们展示了如何用于分类的正则化可以从MDL的角度看作是一个高斯先验的权重。我们考虑了传输分类标签的问题；我们选择了非常精确的逻辑回归作为模型类，其中我们为每个特征指定了一个权重。这是不现实的，因为任何这样的模型的编码长度都是无限的，但如果我们对权值使用高斯先验并忽略常数因子，我们发现编码长度目 阅读全文

摘要：基础知识 让我们尝试确定几个简单函数的梯度和黑塞矩阵。（A考虑为对称矩阵） 最小二乘法 行列式的梯度 针对上图中的max： 对称矩阵的不同特征值对应的特征向量是正交的。 当A有n个线性无关的特征向量的时候，存在相似矩阵P，使得A对角化。 因为x是归一化的向量，所以针对max的时候，x应为最大特征值对 阅读全文