摘要：softmax与sigmoid的关系&最大熵与极大似然估计的关系 softmax与sigmoid 已知sigmoid的函数为： \[ \begin{align} %\frac{1}{1+e^{-z^{[l](k)}}} sigmoid(z) &=\frac{1}{1+e^{-z}} =\frac{1 阅读全文

摘要：# 损失函数：交叉熵 交叉熵用于比较两个不同概率模型之间的距离。即先把模型转换成熵这个数值，然后通过数值去定量的比较两个模型之间的差异。 ## 信息量 信息量用来衡量事件的不确定性，即该事件从不确定转为确定时的难度有多大。 定义信息量的函数为： $$ f(x):=\text{信息量} $$ 假设对于 阅读全文

摘要：# 损失函数：最小二乘法与极大似然估计法 ## 最小二乘法 对于**判断输入是真是假的神经网络**： $$ \hat y =sigmod\bigg (\sum_i (w_i\cdot x_i + b_i) \bigg) $$ 为了比较单次结果与标签$y$之间有多少的差距，可以直观的得到： $$ mi 阅读全文