摘要：L1范数与L2范数​ ​ L1范数与L2范数在机器学习中，是常用的两个正则项，都可以 防止过拟合 的现象。L1范数的正则项优化参数具有稀疏特性，可用于 特征选择 ；L2范数正则项优化的参数较小，具有较好的 抗干扰能力 。 1. 防止过拟合 ​ L2正则项优化目标函数时，一般倾向于构造构造较小参数，一 阅读全文

摘要：条件概率与连式法则 条件概率公式: $$ p(y|x) = \frac{p(x,y)}{p(x)} \tag{1} $$ 链式法则: $$ \begin{align} p(x_1,x_2,...,x_n) &= p(x_n)\prod_{i=1}^{n 1}{{p(x_i)}{p(x_i|x_{i+ 阅读全文

摘要：先验概率, 后验概率, 似然函数, 证据因子 理论 假设有变量$x​$和$y​$, $x​$表示特征, $y​$表示我们关心的变量, 可以是分类变量或者连续变量. 那么, 关于$y​$的先验概率为$p(y)​$, 关于$y​$的后验概率为$p(y|x)​$, 似然函数为$p(x|y)​$, 证据因子 阅读全文

摘要：输入样本点：，输出样本点：（1）采用稀疏表示方法重建信号时，使用稀疏表示方法进行重建。每个样本点表示为： ，其中列向量 。对于而稀疏向量 的计算方法采用以下最优化方法：其中A是由组成的字典矩阵，。（3）降维 阅读全文