摘要：马尔可夫不等式（Markov's inequality） $X\ge0$ 为非负随机变量，$t>0$ 为常数，则有 $$ \begin{align*} \mathbb P(X\ge t)\le{\mathbb EX\over t} \end{align*} $$ 证： 指示器函数 $I\lbrace 阅读全文

摘要：矩阵的奇异值（singular values）和特征值（eigen-values），$m\times n$ 的矩阵确定了一个 $n\to m$ 维的向量变换。特征向量就是这种变换的中方向不变，长度变化为特征值倍的方向。奇异向量则是这一变换中长度变换倍数为奇异值的方向。 特征值 若存在标量 $\lam 阅读全文

摘要：算法分出 $n$ 个类（$c_1,c_2,\dots,c_n$）之后，得到 $n$ 个向量 $\pmb w$，分类方法为 $c=\underset{c_i\in[c_1,\dots,c_n]}{\arg\max}\pmb w_i^T\pmb x$。 求 $\pmb w_1$ 和其他向量 $\pmb 阅读全文

摘要：最优化方法 迭代法 $x\ 为不动点 \iff f(x) = x$ 求解非线性方程 $$f(x)=0$$，可将其改写为具有解为不动点形式的另一个函数 $g(x)$，使得 $\forall x[f(x)=0\leftrightarrow g(x)=x]$。取任意初始值 $x_0$ 和相应的迭代结果 $ 阅读全文