随笔分类 -  ML中的数学

摘要：没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，... 阅读全文

摘要：特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。1.特征值： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：写成矩阵形式： 这时候λ就被称为特征向量v对应的特征... 阅读全文

摘要：1、核所有经过变换矩阵后变成了零向量的向量组成的集合，通常用Ker(A)来表示。假设你是一个向量，有一个矩阵要来变换你，如果你不幸落入了这个矩阵的核里面，那么很遗憾转换后你就变成了虚无的零。特别指出的是，核实“变换”（Transform）中的概念，矩阵变换中有一个相似的概念叫“零空间”。有的材料在谈... 阅读全文

摘要：均值：描述的是样本集合的中间点。方差：描述的是样本集合的各个样本点到均值的距离之平均，一般是用来描述一维数据的。协方差：是一种用来度量两个随机变量关系的统计量。只能处理二维问题。计算协方差需要计算均值。如下式：方差与协方差的关系方差是用来度量单个变量 “ 自身变异”大小的总体参数，方差越大表明该变量... 阅读全文

摘要：1. 偏差：估计量的数学期望（平均值）与真值的偏离程度2.方差:反映了估计量的取值在其数学期望（平均值）周围的分散或集中程度(波动程度)3. 相合性 阅读全文