某些函数与知识点的复习

损失函数与风险函数

监督学习问题是在假设空间F中选取模型f作为决策函数,对于给定的输入X，由f(X)给出相应的输出Y，这个输出的预测值f(X)与真实值Y可能一致也可能不一致，用一个损失函数（loss function）或代价函数(cost function）来度量预测错误的程度．损失函数是f(X)和Y的非负实值函数，记作L(Y,f(X)).

损失函数值越小，模型就越好．由于模型的输入、输出(X,Y)是随机变量，遵循联合分布P(X,Y)，所以损失函数的期望是

这是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失,称为风险函数(risk function）或期望损失( expected loss).

必学知识点

梯度下降（Gradient Descent）小结

感知机原理小结

深度神经网络（DNN）模型与前向传播算法

深度神经网络（DNN）反向传播算法(BP)

神经网络--反向传播详细推导过程

深度神经网络（DNN）损失函数和激活函数的选择
SoftMax函数  ：将各个输出节点的输出值范围映射到[0, 1]，并且约束各个输出节点的输出值的和为1的函数
交叉熵
SigMoid函数

深度神经网络（DNN）的正则化

卷积神经网络(CNN)模型结构

卷积神经网络(CNN)前向传播算法