随笔分类 -  Math

数值计算
摘要：数值计算 上溢和下溢 softmax函数 \[ softmax(x_i) = \frac{exp(x_i)}{\sum_{j=1}^{n}exp(x_j)} \] 差条件（poor conditioning） 条件（conditioning）指的是函数在输入产生很小变化时自身所改变的速度。当函数变化 阅读全文
posted @ 2021-02-21 15:59 YoungF 阅读(265) 评论(0) 推荐(0)
信息论
摘要：信息论 自信息与熵 自信息：\(I(x) = - \log P(x)\) 熵 KL散度和交叉熵 阅读全文
posted @ 2021-02-21 15:12 YoungF 阅读(170) 评论(0) 推荐(0)
概率论
摘要：文本记录深度学习常用的概率论知识。 基础概念 随机变量：概率论通过随机试验来研究随机现象中的统计规律性。可是随机试验需要大量重复，为了更好地去表示整个统计规律性，研究时借助了随机变量这一概念，于是有关随机事件的计算就变成随机变量的计算。随机变量分连续型随机变量（continuous variable 阅读全文
posted @ 2021-02-21 15:03 YoungF 阅读(495) 评论(0) 推荐(0)
线性代数
摘要：本文记录深度学习中常用的线性代数基础知识。 基础概念 标量、向量、矩阵、张量 标量维度为0，就像坐标轴上的一个点，只有数值。它是没有方向的，以下标量以外的统称为矢量； 向量维度为1，就像平面直角坐标系中的一条线； 矩阵维度为2，可以理解成三维空间中的一个平面； 张量维度大于等于3 特殊向量和矩阵 单 阅读全文
posted @ 2021-02-20 17:35 YoungF 阅读(747) 评论(0) 推荐(0)
由"2021年辛丑年"引起的一个头脑风暴
摘要：抬起头，小米电视上写着"2021年 辛丑年"，那么下一年呢？辛寅年？查了下，是"壬寅年"，天干地支都挪了一位。 我们知道，天干共有10个，分别是甲乙丙丁戊己庚辛壬癸；地支对应生肖，共有十二个，分别是子丑寅卯辰巳午未申酉戌亥。那么天干地支记年法将二者结合，按道理是120年一个循环，但是实际上，一个循环 阅读全文
posted @ 2021-01-21 11:06 YoungF 阅读(349) 评论(0) 推荐(0)
特征值分解和奇异值分解
摘要：前言 线性代数中介绍了方阵的特征值分解，将其一般化到任意形状的矩阵对应奇异值分解。 本文暂时假设所有矩阵都为实矩阵。 特征值分解(Eigenvalue Decomposition, EVD) 线性代数中的相似对角化 对于方阵$A_{n \times n}\(，求解其特征值\)\lambda_1, . 阅读全文
posted @ 2020-04-29 15:20 YoungF 阅读(963) 评论(0) 推荐(0)
一文搞懂各种“熵”
摘要：熵是信息论非常重要的概念。本文简要介绍一下几个概念： 熵 联合熵 条件熵 相对熵 交叉熵 熵 随机变量$X$的分布的熵为： \[ H(X) = - \sum_x p(x)\log p(x) \] 性质： 熵是随机变量不确定性的度量，随机变量的取值个数越多，不确定性越大，混乱程度就越大，信息熵越大。 阅读全文
posted @ 2020-04-28 15:37 YoungF 阅读(2360) 评论(0) 推荐(0)