摘要：前言 线性代数中介绍了方阵的特征值分解，将其一般化到任意形状的矩阵对应奇异值分解。 本文暂时假设所有矩阵都为实矩阵。 特征值分解(Eigenvalue Decomposition, EVD) 线性代数中的相似对角化 对于方阵$A_{n \times n}\(，求解其特征值\)\lambda_1, . 阅读全文

摘要：熵是信息论非常重要的概念。本文简要介绍一下几个概念： 熵 联合熵 条件熵 相对熵 交叉熵 熵 随机变量$X$的分布的熵为： \[ H(X) = - \sum_x p(x)\log p(x) \] 性质： 熵是随机变量不确定性的度量，随机变量的取值个数越多，不确定性越大，混乱程度就越大，信息熵越大。 阅读全文