摘要：协方差矩阵 当我们面对多维的随机变量，就需要计算样本维度之间的协方差。 假设有m个n维的点，有并且 令 则 假设，则有，公式得到进一步简化 当n维不相关时，Cov（X）是对角矩阵 协方差矩阵实现 import numpy as np X=np.array([[1,2,1,2],[0,1,0,1],[ 阅读全文

摘要：Cross-Entropy Loss 假设是一对训练样本，是训练数据，是对于分类的one hot向量（该向量只有真实分类的参数为1，其余位数均为0）。假设通过softmax算得预测值，则损失表示如下： 很明显的我们看到这个损失涉及到了哪些参数，只有两个，那就预测值和真实值。这里的真实值采用one h 阅读全文

摘要：#什么是激活函数 激活函数，顾名思义，肩负着激活一个神经网络的作用。 上图清晰的展示了一个多层神经网络的结构，一共L个隐藏层，d个输入和一个输出。其中W表示权重，h表示为激活函数。神经网络的目的就是从输入得到输出，我们可以得到输出的计算方法 很明显看到，上层的输出值通过一定的函数变换，成为下一层的输 阅读全文