摘要： 有向图模型 所有随机变量联合分布分解为变量子集的因子的乘积 节点 --> 随机变量 \(a, b, c\) 边 --> 变量之间的概率关系，例如，条件概率 图语义 a 到 b 的箭头（a是条件）表示条件概率 \(p(b|a)\) 全连接（对神经网络而言） 假设3个输入节点，2个输出节点，全连接会有 阅读全文

摘要： 隐变量模型 学习（例如，通过最大似然）可以采用 EM 算法 \(p(x | \theta, z)\)，允许自定义从参数生成数据的过程，两步走： 第一步：给出隐变量 \(z\) 的先验 \(p(z)\)（自己选），对 \(z\) 边缘化（积掉 \(z\) )，求出似然函数 \(p(x|\theta)\ 阅读全文

摘要： 正则化 经验风险最小化，可能出现过拟合，即：训练集风险估计值小，但测试集风险估计值大 引入一个惩罚项，来偏置经验风险最小化的搜索结果 通过添加额外项将参数偏向原点 附加一个正则项 \(||\theta||^2\)，和参数 \(\lambda\) 以最小二乘为例，在损失函数 \(L(\theta)\) 阅读全文

摘要： 经验风险最小化 模型选择（预测器） -- 线性模型：线性回归（仿射变换） -- 非线性模型：有，实例是什么？ 模型评价 损失函数 -- 输入：预测值、真实值 -- 输出：非负值（称为损失） -- 目标：寻找一个好的参数向量 \(\theta^*\) ，使损失最小 -- 自定义损失函数：N个训练样本上 阅读全文

摘要： 用估计方式求解积分 随机估计：马尔可夫-蒙特卡洛 判别估计：拉普拉斯估计、变分推断、期望传播 隐变量模型 期望最大化 主成分分析来降维 高斯混合模型来密度估计 隐马尔可夫模型、动态系统来时序建模、元数据学习，或者任务生成 共轭先验–似然–后验三元组 似然（数据模型） 共轭先验 后验分布 后验参数更新 阅读全文

摘要： 勒让德变换 一种数学技巧，变量\(x \ \rightarrow\) 变量 \(p\)，把 \(f(x)\) 转换到 \(f(p)\) 且不会丢失信息 \(p=\frac{\partial f}{\partial x}\) \(f(p)=px-f(x)\) 存在条件：f(x)是凸函数（函数上任取两点 阅读全文

摘要： 原问题：\(min \ c^Tx\) 约束条件：\(Ax \leq b\) \(x \in R^d, A^{m \times d}, b \in R^m\) 目标函数、约束条件都是线性表达式，故称线性规划 构造拉格朗日函数 定义拉格朗日参数 \(\lambda \geq 0\) 拉格朗日函数 \(L 阅读全文

摘要： 证明：Simplex是Polyhedron的一种 等价于：任意一种Simplex都可以用Polyhedron的定义形式表达出来 矩阵正定 \(\bm{A} \succ 0\) 对称矩阵、对称半正定矩阵、对称正定矩阵，是不是凸集？ 对称矩阵集合：\(S^n=\{ X \in R^{n\times n} 阅读全文

摘要： 几种重要的凸集 球、椭球、多面体、单纯形 空间 必须有一个原点\(O\) 其子空间的原点与空间的原点必然是同一个 超平面与半空间 超平面 一个原空间降维的等式 2维空间的超平面是一条直线，不是平面，固称为超平面 \(\{ X | a^TX = b\};\ \ \ \ a,X \in R^n, b \ 阅读全文

摘要： 组合 线性组合 \(ax_1+bx_2\) ， 图像理解： \(x_1,x_2\)与原点0构成一个平面 仿射组合 \(ax_1+bx_2\)，且 \(a+b=1\)， 图像理解：穿过\(x_1,x_2\)的一条直线 凸组合 \(ax_1+bx_2\)，且 \(a+b=1\)，且 \(a,b \in 阅读全文