BOTHSAVAGE

摘要： 我们假设, 女生长得越漂亮, 越多男生爱. 这就可以被当做一个线性问题. 但是如果我们假设这个场景是发生在校园里. 校园里的男生数是有限的, 女生再漂亮, 也不可能会有无穷多的男生喜欢她. 所以这就变成了一个非线性问题 想要恰当使用这些激励函数, 还是有窍门的. 比如当你的神经网络层只有两三层, 不 阅读全文

摘要： 交叉熵刻画了两个概率分布之间的距离 但是神经网络的输出却不是一个概率分布 softmax回归可以把前向传播返回的结果变成一个概率分布的问题 在tf中，softmax回归参数被去掉了，只是一个额外的输出处理层 也就是说原来的输出被当成了置信度 从交叉熵的公式来来看H(A,B)!=H(B,A)也就是说这 阅读全文