三

svm：

1、SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题。

2、用于训练逻辑回归或 SVM 的凸优化算法那样保证全局收敛。凸优化从任何一种初始参数出发都会收敛(理论上如此——在实践中也很鲁棒但可能会遇到数值问题)。

前馈神经网络：

1、对于前馈神经网络，将所有的参数初始化为小随机数很重要，

2、用于非凸损失函数的随机梯度下降没有这种收敛的保证性，并且对参数的初始值很敏感；

泛函：

1、泛函（functional）通常是指一种定义域为函数，而值域为实数的“函数”。换句话说，就是从函数组成的一个向量空间到实数的一个映射。也就是说它的输入为函数，而输出为实数。

2、还有一种代价泛函 了解一下，好像挺NB，不过应该也不简单；

3、

激活函数：

1、sigmoid

2、softplus

3、softmax

 

疑问：

1、为什么

之前,我们看到了对输出分布的最大似然估计和对线性模型均方误差的最小化之间的等价性

？？？（P154）

2、负对数似然 是什么？

3、代价泛函的细节？

4、softplus是什么激活函数？

5、

 

softmax 函数的形式为exp(z i )softmax(z) i = ∑.j exp(z j )